Data Lake (Озеро данных)

Ключевое отличие Data Lake от Data Warehouse — в подходе к структуре и моменту обработки данных. DWH требует схему данных заранее, до загрузки (schema-on-write), и хранит только очищенные, структурированные данные под конкретные аналитические задачи. Data Lake хранит все подряд «как есть» — логи сервера, видео, изображения, JSON-документы, текстовые файлы — и определяет структуру только в момент чтения (schema-on-read), когда данные извлекаются для конкретного анализа или обучения ML-модели. Это делает озеро данных дешевле в поддержке и гибче для исследовательских задач, но без должного управления (Data Governance) легко превращается в неструктурированное «болото данных» (data swamp), где невозможно найти нужную информацию.

Стриминговый видеосервис сохраняет в data lake абсолютно все сырые логи взаимодействия пользователей: каждую паузу, перемотку, смену качества видео, в исходном виде без предварительной обработки. Когда команда рекомендательной системы решает построить новую ML-модель, она напрямую обращается к этим сырым логам за последние два года и извлекает нужные признаки, которые заранее никто не мог предугадать при проектировании DWH.

Data Lake особенно ценен для компаний, активно работающих с машинным обучением и требующих доступа к максимально детализированным, необработанным историческим данным, а не только к готовым агрегатам. Многие современные архитектуры используют гибридный подход (Data Lakehouse), объединяя гибкость озера с надежностью и структурой хранилища.