Data lake

Čo to znamená

Data lake, dátové jazero, je centrálne úložisko, ktoré uchováva dáta z rôznych zdrojov v pôvodnej, aj neštruktúrovanej podobe. Patria sem tabuľky z ERP, logy z webu, dokumenty, obrázky či záznamy zo senzorov, a spracujú sa až vtedy, keď ich niekto potrebuje.

Na rozdiel od dátového skladu, kde sa dáta pred uložením čistia a štruktúrujú, data lake ich ukladá bez úprav. Je preto flexibilnejší a lacnejší na uloženie veľkých objemov, čo vyhovuje big data analýzam a strojovému učeniu.

Moderné riešenia kombinujú oba prístupy do takzvaného lakehouse, kde sa surové dáta uložia lacno a nad nimi sa vytvárajú upravené vrstvy pre reporty. Typicky beží v cloudovom úložisku, ktoré sa platí podľa objemu a využitia.

Ako to funguje v praxi

Do data lake sa dáta dostávajú cez ETL alebo ELT procesy, ktoré ich pravidelne sťahujú zo systémov. Analytici a dátoví vedci si z jazera vyberajú, čo potrebujú, a pripravujú podklady pre business intelligence nástroje a dashboardy.

Pre menšie firmy býva data lake zbytočne veľký krok. Ak firma potrebuje najmä finančné a obchodné reporty, stačí jej dátový sklad alebo dobre nastavený BI nástroj. Data lake sa oplatí, keď sa spájajú veľké objemy rôznorodých dát a firma má ľudí, ktorí ich vedia využiť.

Kľúčová je katalogizácia: každý dataset by mal mať popis, vlastníka, zdroj a dátum aktualizácie. Bez nich nikto nevie, ktoré dáta sú spoľahlivé, a analytici trávia viac času hľadaním ako analýzou.

Na čo si dať pozor

Bez správy dát sa jazero ľahko zmení na dátový močiar, kde sú duplicitné, zastarané a nepochopiteľné súbory. Pravidlá pre pomenovanie, kvalitu a mazanie dát treba nastaviť od začiatku, nie až keď sa v jazere nedá orientovať.

Ukladanie všetkého pre istotu je v rozpore so zásadou minimalizácie podľa GDPR. Ak data lake obsahuje osobné údaje, treba vedieť, na aký účel sa uchovávajú, kto k nim má prístup a kedy sa vymažú, a citlivé údaje by mali byť pseudonymizované.