Data preprocessing

Приведение сырых данных к виду, пригодному для обучения: типы, форматы, дубликаты, согласованность единиц измерения.

Ключевые тезисы

• Все преобразования должны быть оформлены как воспроизводимый pipeline, а не как ручные шаги в ноутбуке.
• Параметры преобразований подбираются только на train и применяются к val/test.
• Один и тот же код предобработки должен работать в обучении и в проде.

Какую задачу решает

Между выгрузкой из базы и обучением модели лежит слой работы, который определяет результат сильнее выбора алгоритма: типы приведены неверно, даты лежат строками, дубликаты задваивают часть выборки, категории записаны в трёх вариантах написания. Предобработка — это приведение данных к форме, в которой модель видит именно то, что вы имели в виду.

Главное правило всей темы: любая операция, использующая статистику по выборке (среднее для заполнения, границы для масштабирования, частоты категорий), должна вычисляться на обучающей части и применяться к остальным. Нарушение этого правила даёт утечку — оптимистичную валидацию и разочарование в проде.

Подробный разбор

from sklearn.pipeline import Pipeline
from sklearn.compose import ColumnTransformer
from sklearn.impute import SimpleImputer
from sklearn.preprocessing import StandardScaler, OneHotEncoder

num = Pipeline([("imp", SimpleImputer(strategy="median")),
                ("sc", StandardScaler())])
cat = Pipeline([("imp", SimpleImputer(strategy="most_frequent")),
                ("ohe", OneHotEncoder(handle_unknown="ignore"))])

prep = ColumnTransformer([("num", num, num_cols), ("cat", cat, cat_cols)])
model = Pipeline([("prep", prep), ("clf", LogisticRegression())])
model.fit(X_train, y_train)   # все параметры выучены только на train

Где применяется

• Подготовка табличных данныхТипы, пропуски, категории, масштаб — обязательный минимум перед любой моделью.
• ВоспроизводимостьПайплайн сериализуется вместе с моделью, и прод получает ровно те же преобразования.
• Кросс-валидация без утечкиВнутри пайплайна каждый фолд обучает свои преобразования на своей части данных.

Плюсы, минусы и альтернативы

Чем заменяют

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

Связанные темы

Надёжность данных · Подготовка данных

Глава «Данные» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.