Определение
Описание
Очистка данных (Data Cleaning / Data Cleansing) — это фундаментальный инженерный этап подготовки данных, заключающийся в обнаружении и исправлении (или удалении) неточных, поврежденных, неполных, некорректно отформатированных, дублирующихся или выбросных записей из наборов данных перед их передачей в аналитику или алгоритмы машинного обучения.
Процесс очистки данных включает: устранение дубликатов строк, обработку пропущенных значений (Imputation — заполнение средним, медианой или прогнозными значениями), приведение к единым стандартам форматов (даты, телефоны через regex, адреса по КЛАДР/ФИАС), обработку статистических выбросов (Outliers) и проверку логической непротиворечивости (например, возраст человека не может быть равен 250 годам).
В работе специалистов по данным (Data Scientists) очистка данных занимает до 70–80% всего рабочего времени. Пренебрежение очисткой приводит к катастрофическим последствиям для бизнеса: неверные данные в CRM приводят к отправке писем с чужими именами, дублирующиеся контакты сжигают рекламные бюджеты, а некорректные обучающие выборки приводят к деградации ML-моделей.
Примеры из практики
Кейс 1 (Очистка и дедупликация клиентской базы CRM): Оптовая компания очистила базу из 450 000 контактов: объединила дубли по ИНН и нормализовала телефоны. Это сократило расходы на платную SMS-рассылку на 28% (исключены повторные отправки одному клиенту) и увеличило конверсию адресных звонков менеджеров на 19%.
Кейс 2 (Устранение выбросов в обучающей выборке алгоритма оценки недвижимости): Модель оценки квартир выдавала абсурдные результаты из-за объявлений с опечатками («квартира 10 000 кв. м за 500 рублей»). Удаление выбросов и нормализация площади повысили точность прогнозирования стоимости жилья (метрика MAPE улучшилась с 18% до 4.2%).
Применение на практике
Специалисты по данным тратят до 60-80% рабочего времени именно на очистку и подготовку данных, а не на само моделирование или анализ — этот этап часто недооценивается бизнесом, но напрямую определяет качество всех последующих аналитических выводов и решений.