Большие данные

Что это значит

Большие данные - массивы данных настолько большие, быстро растущие или разнородные, что их нельзя обработать обычными инструментами, такими как электронные таблицы или простые базы данных. Их часто описывают тремя V: объём, скорость и разнообразие.

Источниками служат, например, транзакции платёжных карт, датчики на заводах, поведение пользователей на сайте, логи систем или соцсети. Они хранятся в распределённых хранилищах, например в озере данных, и обрабатываются мощными вычислительными платформами.

Ценность больших данных не в их объёме, а в том, что компания из них извлечёт. Для анализа применяются статистические методы и машинное обучение, находящие закономерности, которых человек бы не увидел.

Как это работает на практике

Банки анализируют миллионы транзакций для выявления мошенничества, интернет-магазины - поведение клиентов для рекомендаций, производители - данные машин для прогноза поломок. Результаты отображаются в инструментах бизнес-аналитики.

У малых и средних компаний настоящих больших данных обычно нет. Для них важнее хорошо связать и очистить собственные данные из учёта, CRM и интернет-магазина и построить понятное хранилище данных.

Расходы на облачную обработку данных - операционные расходы, и при большом объёме они быстро растут. Поэтому стоит следить, какие данные реально используются, а ненужные удалять.

На что обратить внимание

Большой объём данных не заменит их качества. Ошибочные, дублирующиеся или неполные данные ведут к неверным выводам, и чем больше данных, тем труднее искать ошибки.

Большие данные часто содержат персональные данные. Для них действует GDPR, включая минимизацию и ограничение цели, поэтому нужно настроить управление данными и знать, зачем и как долго хранятся те или иные данные.