Озеро даних

Що це означає

Озеро даних - це центральне сховище, яке зберігає дані з різних джерел у початковому, зокрема неструктурованому вигляді. Сюди належать таблиці з ERP, логи сайту, документи, зображення чи записи датчиків, а обробляють їх лише тоді, коли комусь потрібні.

На відміну від сховища даних, де дані перед збереженням очищають і структурують, озеро даних зберігає їх без змін. Тому воно гнучкіше й дешевше для зберігання великих обсягів, що підходить для аналізу великих даних і машинного навчання.

Сучасні рішення поєднують обидва підходи в так званому lakehouse, де сирі дані зберігаються дешево, а над ними будують оброблені шари для звітів. Зазвичай усе працює в хмарному сховищі, яке оплачують за обсягом і використанням.

Як це працює на практиці

Дані потрапляють до озера через процеси ETL або ELT, які регулярно вивантажують їх із систем. Аналітики й фахівці з даних беруть з озера потрібне й готують основу для інструментів бізнес-аналітики та дашбордів.

Для невеликих фірм озеро даних часто завеликий крок. Якщо фірмі потрібні переважно фінансові й комерційні звіти, досить сховища даних або добре налаштованого BI-інструмента. Озеро окупається, коли поєднуються великі обсяги різнорідних даних і є люди, які вміють ними користуватися.

Ключове значення має каталогізація: кожен набір даних повинен мати опис, власника, джерело й дату оновлення. Без них ніхто не знає, які дані надійні, і аналітики витрачають більше часу на пошук, ніж на аналіз.

На що звернути увагу

Без управління даними озеро легко перетворюється на болото даних із дубльованими, застарілими й незрозумілими файлами. Правила іменування, якості й видалення даних треба встановити від початку, а не коли в озері вже неможливо зорієнтуватися.

Зберігання всього про всяк випадок суперечить принципу мінімізації за GDPR. Якщо озеро містить персональні дані, треба знати, з якою метою їх зберігають, хто має доступ і коли їх видаляють, а чутливі дані слід псевдонімізувати.