Озеро данных

Что это значит

Озеро данных - это центральное хранилище, которое хранит данные из разных источников в исходном, в том числе неструктурированном виде. Сюда относятся таблицы из ERP, логи сайта, документы, изображения или записи датчиков, а обрабатываются они только тогда, когда кому-то нужны.

В отличие от хранилища данных, где данные перед сохранением очищаются и структурируются, озеро данных сохраняет их без изменений. Поэтому оно гибче и дешевле для хранения больших объёмов, что подходит для анализа больших данных и машинного обучения.

Современные решения сочетают оба подхода в так называемом lakehouse, где сырые данные хранятся дёшево, а над ними строятся обработанные слои для отчётов. Обычно всё работает в облачном хранилище, которое оплачивается по объёму и использованию.

Как это работает на практике

Данные попадают в озеро через процессы ETL или ELT, которые регулярно выгружают их из систем. Аналитики и специалисты по данным берут из озера нужное и готовят основу для инструментов бизнес-аналитики и дашбордов.

Для небольших фирм озеро данных часто слишком большой шаг. Если фирме нужны в основном финансовые и коммерческие отчёты, достаточно хранилища данных или хорошо настроенного BI-инструмента. Озеро окупается, когда объединяются большие объёмы разнородных данных и есть люди, умеющие ими пользоваться.

Ключевое значение имеет каталогизация: у каждого набора данных должны быть описание, владелец, источник и дата обновления. Без них никто не знает, какие данные надёжны, и аналитики тратят больше времени на поиск, чем на анализ.

На что обратить внимание

Без управления данными озеро легко превращается в болото данных с дублированными, устаревшими и непонятными файлами. Правила именования, качества и удаления данных нужно задать с самого начала, а не когда в озере уже невозможно ориентироваться.

Хранение всего на всякий случай противоречит принципу минимизации по GDPR. Если озеро содержит персональные данные, нужно знать, с какой целью они хранятся, у кого есть доступ и когда они удаляются, а чувствительные данные следует псевдонимизировать.