Перейти к содержимомуСпецусловия для первых клиентов: только 10 компаний
ViscientaryАналитика
Все термины

Data Cleaning / Data Cleansing (Очистка данных)

Процесс выявления и исправления ошибок, дублей и неточностей в данных.

Определение

Data Cleaning, Data Cleansing (очистка данных) — это процесс выявления, исправления или удаления некорректных, неполных, дублирующихся или несогласованных записей в наборе данных с целью повышения их достоверности перед анализом или использованием в моделях.

Описание

Очистка данных (Data Cleaning / Data Cleansing) — это фундаментальный инженерный этап подготовки данных, заключающийся в обнаружении и исправлении (или удалении) неточных, поврежденных, неполных, некорректно отформатированных, дублирующихся или выбросных записей из наборов данных перед их передачей в аналитику или алгоритмы машинного обучения.

Процесс очистки данных включает: устранение дубликатов строк, обработку пропущенных значений (Imputation — заполнение средним, медианой или прогнозными значениями), приведение к единым стандартам форматов (даты, телефоны через regex, адреса по КЛАДР/ФИАС), обработку статистических выбросов (Outliers) и проверку логической непротиворечивости (например, возраст человека не может быть равен 250 годам).

В работе специалистов по данным (Data Scientists) очистка данных занимает до 70–80% всего рабочего времени. Пренебрежение очисткой приводит к катастрофическим последствиям для бизнеса: неверные данные в CRM приводят к отправке писем с чужими именами, дублирующиеся контакты сжигают рекламные бюджеты, а некорректные обучающие выборки приводят к деградации ML-моделей.

Примеры из практики

1Кейс 1

Кейс 1 (Очистка и дедупликация клиентской базы CRM): Оптовая компания очистила базу из 450 000 контактов: объединила дубли по ИНН и нормализовала телефоны. Это сократило расходы на платную SMS-рассылку на 28% (исключены повторные отправки одному клиенту) и увеличило конверсию адресных звонков менеджеров на 19%.

2Кейс 2

Кейс 2 (Устранение выбросов в обучающей выборке алгоритма оценки недвижимости): Модель оценки квартир выдавала абсурдные результаты из-за объявлений с опечатками («квартира 10 000 кв. м за 500 рублей»). Удаление выбросов и нормализация площади повысили точность прогнозирования стоимости жилья (метрика MAPE улучшилась с 18% до 4.2%).

Применение на практике

Специалисты по данным тратят до 60-80% рабочего времени именно на очистку и подготовку данных, а не на само моделирование или анализ — этот этап часто недооценивается бизнесом, но напрямую определяет качество всех последующих аналитических выводов и решений.

Оптимизируйте бизнес-процессы

Получите бесплатную консультацию и узнайте, как платформа Viscientary может кратно улучшить ваши ключевые показатели.