ETL

Что это значит

ETL - сокращение от extract, transform, load, то есть извлечь, преобразовать и загрузить. Это процесс, который регулярно получает данные из разных источников, например из учёта, интернет-магазина, CRM или табеля, приводит их к единому виду и сохраняет в хранилище данных или инструменте отчётности.

Больше всего работы обычно в преобразовании. У данных из разных систем разные коды клиентов, названия товаров, валюты и даты. Преобразование унифицирует их, очищает от дубликатов и ошибок и пересчитывает так, чтобы их можно было сравнить и объединить.

ETL - невидимая часть бизнес-аналитики. Пользователь видит дашборд с графиками, но их правильность зависит от того, загрузил ли ETL данные полностью, вовремя и правильно ли их связал.

Как это работает на практике

В отчётности для руководства мы советуем, чтобы финансовые цифры на дашборде брались прямо из учёта, а ETL их лишь переносил, а не пересчитывал по собственной логике. Иначе возникнут две правды: одна в учёте, другая в графиках.

Ключевая часть - мастер-данные. Если у одного и того же клиента в CRM другое обозначение, чем в учёте, ETL его не свяжет, и выручка разделится между двумя клиентами. Единые идентификаторы, например IČO, заметно упрощают работу.

Современные инструменты позволяют делать ETL без программирования через готовые коннекторы и API. Небольшим фирмам часто хватает простой ночной передачи данных в таблицу или инструмент отчётности. Для чувствительных данных нужно решить, где они хранятся и у кого есть доступ.

На что обратить внимание

Самая частая проблема - тихая ошибка: ETL однажды ночью не запустился или загрузил только часть данных, и никто не заметил. Руководство потом решает по неполным цифрам. У каждой передачи должна быть проверка полноты и оповещение при сбое.

Второй риск возникает при смене исходной системы. Когда меняется учётная программа или структура магазина, старый ETL перестаёт работать или начинает выдавать бессмыслицу. Поэтому смена системы всегда должна включать и доработку потоков данных.