Data Pipeline (Конвейер данных)

Если ETL описывает конкретный тип операции (извлечь-преобразовать-загрузить), то data pipeline — более широкое понятие, охватывающее весь путь данных, включая потоковую (real-time) и пакетную (batch) обработку, мониторинг качества на каждом шаге и обработку ошибок. Пайплайн строится как граф зависимых задач (DAG — Directed Acyclic Graph), где каждый следующий шаг запускается только после успешного завершения предыдущего. Надежный пайплайн включает алертинг: если данные не пришли вовремя или их объем аномально отличается от обычного, система автоматически уведомляет дата-инженеров, не дожидаясь, пока ошибку заметят по неверным отчетам.

Финтех-стартап строит пайплайн для расчета кредитного скоринга в реальном времени: заявка клиента поступает из мобильного приложения, пайплайн за секунды обогащает ее данными из бюро кредитных историй, рассчитывает скоринговые признаки, прогоняет через ML-модель и возвращает решение о выдаче кредита — весь процесс автоматизирован и происходит без участия человека за 3-5 секунд.

Надежные data pipeline критически важны для продуктов, где решения принимаются в реальном времени (рекомендательные системы, антифрод, динамическое ценообразование), а также для регулярной подготовки данных для BI и отчетности. Инвестиции в отказоустойчивость пайплайнов (мониторинг, повторные попытки, версионирование) напрямую влияют на доверие бизнеса к данным.