Хранилище данных

Что это значит

Хранилище данных - это отдельная база данных, куда регулярно копируются данные из операционных систем - из бухгалтерии, CRM, склада, интернет-магазина - и приводятся к единому виду, пригодному для анализа.

Причина проста: операционная система рассчитана на запись отдельных документов, а не на суммы за годы. Объёмные запросы замедляли бы её, а исторический вид данных в ней к тому же перезаписывается.

Хранилище данных - это не резервное копирование и не архив. Оно хранит не документы в исходном виде для доказательства, а преобразованные данные для анализа, и если исходная система утрачена, восстановить учёт из хранилища нельзя. Поэтому обязанность архивировать документы и учётные записи оно за компанию не берёт.

Как это работает на практике

Хранилище имеет смысл при нескольких источниках и при необходимости сравнивать длинные периоды: несколько стран, несколько магазинов или несколько компаний группы. Над ним затем стоят инструменты business intelligence и отчётность.

Небольшой компании хватает регулярной выгрузки и одной интеграции. Затраты на построение хранилища оправданы лишь тогда, когда ручная консолидация стоит больше времени, чем его эксплуатация.

В группе компаний мы после месячного закрытия передаём в хранилище данные учёта каждой компании. Чтобы их можно было суммировать, сопоставляем аналитические счета отдельных фирм с общей структурой по плану счетов. Без этого один и тот же вид расходов в каждой фирме сидел бы на другом счёте, и итоги не сходились бы.

На что обратить внимание

Хранилище не сводит данные само по себе. Пока не согласовано, что считается клиентом, что выручкой и на какую дату она относится, получатся лишь более быстрые противоречивые отчёты. Определение понятий - первый шаг, SQL - только второй.

В хранилище легко попадают и персональные данные - имена клиентов, зарплаты, контакты. Так появляется ещё одно место, на которое распространяется GDPR, со своими доступами и сроками удаления. То, что анализу не нужно, в хранилище попадать не должно, а остальные данные о людях можно псевдонимизировать ещё при загрузке.