Data Processing (Обработка данных)

Обработка данных включает несколько последовательных операций: сбор (collection), валидацию (проверка на соответствие ожидаемому формату и диапазону значений), сортировку и агрегацию, а также кодирование категориальных признаков для использования в аналитике или моделях. Существует два принципиально разных режима обработки: batch processing (пакетная обработка), при которой данные накапливаются и обрабатываются большими партиями по расписанию (например, раз в сутки), и stream processing (потоковая обработка), при которой каждая единица данных обрабатывается практически мгновенно по мере поступления. Выбор режима определяется требованиями бизнеса к скорости получения результата.

Служба такси обрабатывает GPS-координаты автомобилей в режиме stream processing: каждая координата обрабатывается за миллисекунды, чтобы приложение показывало клиенту актуальное местоположение машины. При этом статистика по среднему времени подачи за месяц для внутренней отчетности обрабатывается в режиме batch processing раз в сутки, поскольку мгновенная точность здесь не требуется.

Правильный выбор архитектуры обработки данных напрямую влияет на затраты инфраструктуры: потоковая обработка технически сложнее и дороже пакетной, поэтому важно применять ее только там, где скорость данных критична для продукта (антифрод, логистика, финтех), а не по умолчанию для всех процессов.