Великі дані

Що це означає

Великі дані - масиви даних настільки великі, швидко зростаючі чи різнорідні, що їх не можна обробити звичайними інструментами, як-от електронні таблиці чи прості бази даних. Їх часто описують трьома V: обсяг, швидкість і різноманітність.

Джерелами є, наприклад, транзакції платіжних карток, датчики на заводах, поведінка користувачів на сайті, логи систем чи соцмережі. Вони зберігаються в розподілених сховищах, наприклад в озері даних, і обробляються потужними обчислювальними платформами.

Цінність великих даних не в їх обсязі, а в тому, що компанія з них видобуде. Для аналізу застосовуються статистичні методи та машинне навчання, що знаходять закономірності, яких людина не побачила б.

Як це працює на практиці

Банки аналізують мільйони транзакцій для виявлення шахрайства, інтернет-магазини - поведінку клієнтів для рекомендацій, виробники - дані машин для прогнозу поломок. Результати відображаються в інструментах бізнес-аналітики.

У малих і середніх компаній справжніх великих даних зазвичай немає. Для них важливіше добре пов'язати та очистити власні дані з обліку, CRM та інтернет-магазину й побудувати зрозуміле сховище даних.

Витрати на хмарну обробку даних - операційні витрати, і за великого обсягу вони швидко зростають. Тому варто стежити, які дані реально використовуються, а непотрібні видаляти.

На що звернути увагу

Великий обсяг даних не замінить їх якості. Помилкові, дубльовані чи неповні дані ведуть до хибних висновків, і що більше даних, то важче шукати помилки.

Великі дані часто містять персональні дані. Для них діє GDPR, включно з мінімізацією та обмеженням мети, тому треба налаштувати управління даними і знати, навіщо та як довго зберігаються ті чи інші дані.