Big Data (Большие данные)

Классически Big Data описывается через модель «трех V»: Volume (объем — от терабайтов до петабайтов данных), Velocity (скорость — данные, поступающие непрерывным потоком в реальном времени, как клики на сайте или показания IoT-датчиков) и Variety (разнообразие — данные бывают не только табличными, но и текстовыми, видео, аудио, геолокационными). Позже к модели добавили Veracity (достоверность — большие данные часто содержат шум и неточности) и Value (ценность — сам по себе объем данных бесполезен без способности извлечь из него практическую выгоду). Для работы с большими данными классические серверные базы данных не подходят — используются распределенные системы (Hadoop, Spark) и облачные платформы, позволяющие обрабатывать данные параллельно на кластерах из множества машин.

Крупный оператор такси ежедневно генерирует миллиарды точек GPS-координат от сотен тысяч автомобилей, данные о трафике с городских камер и метеорологические данные — совокупно это петабайты информации, которые физически невозможно обработать на одном сервере. Компания использует распределенную систему обработки, которая параллельно анализирует эти потоки на кластере из тысяч серверов, чтобы в реальном времени рассчитывать оптимальные маршруты и динамические тарифы.

Технологии больших данных стали фундаментом для целых индустрий: рекомендательных систем стриминговых сервисов, персонализации в e-commerce, беспилотного транспорта и медицинской диагностики на основе геномных данных. Для среднего и малого бизнеса важно трезво оценивать, действительно ли их объем и скорость данных требуют инфраструктуры больших данных, поскольку она значительно дороже и сложнее классических решений и оправдана не всегда.