Data Cleaning / Data Cleansing (Очистка данных)

Реальные данные почти никогда не бывают идеальными: они содержат пропущенные значения (клиент не указал возраст), дубликаты (один и тот же клиент зарегистрировался дважды с разными email), опечатки и несогласованные форматы (даты в разных форматах, одна и та же страна записана как «Россия», «РФ» и «Russia»), а также выбросы — аномальные значения, искажающие статистику. Очистка данных включает стандартизацию форматов, дедупликацию записей, обоснованное восполнение пропусков (например, медианным значением) или их осознанное исключение, а также валидацию по бизнес-правилам (отрицательная сумма заказа — явная ошибка). Существует известное правило «мусор на входе — мусор на выходе» (garbage in, garbage out): даже самая продвинутая ML-модель или дорогой BI-дашборд дадут неверные выводы, если построены на грязных данных.

Перед запуском email-рассылки маркетинговая команда обнаруживает, что база подписчиков содержит 15% дублирующихся контактов (один и тот же человек подписался с личной и рабочей почты) и 8% email с явными опечатками в домене (например, "gmial.com" вместо "gmail.com"). После очистки базы точность сегментации выросла, показатель отказов при доставке снизился, а репутация домена-отправителя перестала страдать от рассылки на несуществующие адреса.

Специалисты по данным тратят до 60-80% рабочего времени именно на очистку и подготовку данных, а не на само моделирование или анализ — этот этап часто недооценивается бизнесом, но напрямую определяет качество всех последующих аналитических выводов и решений.