Encoding

Перевод категориальных в числа: , ordinal, target encoding, , .

Ключевые тезисы

безопасен, но взрывает размерность при высокой кардинальности.
силён, но требует out-of-fold-схемы, иначе даёт утечку целевой переменной.
реализует упорядоченное «из коробки».

Какую задачу решает

Большинство моделей принимают только числа, а категориальные — города, товары, статусы — числами не являются. Кодирование переводит их в числовую форму, и способ перевода определяет, что модель сможет из них извлечь.

Основная развилка — мощность категории. Для десятка значений годится : просто, честно, без утечки. Для тысяч значений (идентификаторы товаров, почтовые индексы) one-hot взрывает размерность, и приходится переходить к target encoding, которое мощнее, но требует аккуратности: считать статистику надо только по данным, недоступным текущей строке, иначе модель начнёт подсматривать ответ.

Как посчитать target encoding честно

Разбейте обучение на 5 фолдов. Для строк каждого фолда считайте среднее целевой по категории по остальным четырём фолдам. Для — по всей обучающей. Дополнительно сгладьте: $\frac{n \cdot y ˉ _{c a t} + m \cdot y ˉ}{n + m}$ , где $n$ — размер категории, $m$ — параметр сглаживания (10–50). Категория из одной строки при $m = 20$ почти полностью подтянется к глобальному среднему и не сможет закодировать ответ. Пропуск любого из этих двух шагов — и вы получите модель, которая великолепна на валидации и бесполезна в проде.

Подробный разбор

3 подтемы — объяснения, формулы, примеры и интерактивные графики.

Категория с $k$ значениями превращается в $k$ бинарных столбцов, ровно один из которых равен единице. Модель не получает ложного порядка: «Москва < Казань» не возникает.

Пример

sex (2 значения) и Embarked (3 значения) дают $2 + 3 = 5$ новых бинарных столбцов. При drop_first=True — 4.

На практике

Dummy trap: сумма всех столбцов OHE всегда равна 1, поэтому вместе со свободным членом получается линейная зависимость и становится вырожденной. Для линейных моделей без один столбец удаляют; для деревьев и Ridge это не нужно.

enc (c) = \frac{\sum _{i : x_{i} = c} y _{i} + α y ˉ}{n _{c} + α}

Обозначения

$α$ коэффициент, задающий вес слагаемого или скорость обновления
$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$n$ число объектов в выборке
$\sum$ суммирование по всем перечисленным элементам

Сглаженное среднее целевой переменной по категории:

α

подтягивает редкие категории к общему среднему

Проблема в том, что значение $y_{i}$ самого объекта участвует в его же признаке. Модель «подглядывает» в ответ, качество на валидации взлетает, в проде падает.

Считать кодирование out-of-fold: для объектов фолда $k$ статистика берётся по остальным фолдам.
Или использовать упорядоченное кодирование, как в : только по «прошлым» объектам в случайной перестановке.
Всегда добавлять сглаживание $α$ : категория из двух объектов иначе получит экстремальное значение.

Метод	Когда применять	Риск
Ordinal	порядковые : низкий / средний / высокий	ложный порядок у номинальных
Frequency	деревья, высокая кардинальность	две разные категории с равной частотой сливаются
Hashing	миллионы категорий, потоковые данные
	, очень много категорий	нужны данные и обучение

На практике

Для деревьев по признаку с 1000 категорий — плохая идея: каждый бинарный столбец даёт слабое разбиение, дерево вынуждено расти вглубь. Здесь выигрывают target/ordered encoding и встроенная обработка .

Где применяется

Категории малой мощностиПол, статус, тип договора: и не думать.
ИдентификаторыТовары, магазины, пользователи: с правильной схемой или .
Географические данныеПочтовые индексы и города, где важна связь категории с целью.
на таблицах категорий обучаются вместе с моделью и улавливают сходство значений.

Плюсы, минусы и альтернативы

Плюсы

прост, безопасен и не требует настройки.
компактен и часто резко поднимает качество на категориях высокой мощности.
улавливают сходство между значениями, недоступное .
Современный умеет обрабатывать категории сам.

Минусы

взрывает размерность и делает данные разреженными.
без правильной схемы — прямая утечка и провал в проде.
Ordinal encoding на неупорядоченных категориях вносит ложный порядок.
Новые значения категорий в проде требуют явной обработки.

Брать, если

Категорий меньше 10–15 — .
Категорий сотни и тысячи — с out-of-fold схемой или .
Категорий десятки тысяч и есть — .

Не брать, если

Не применяйте ordinal encoding к неупорядоченным категориям ради компактности.
Не считайте на всей обучающей выборке разом.

Чем заменяют

CatBoostактуальноCatBoost · Классическое машинное обучениеКатегорий много: упорядоченное кодирование встроено и утечки не даёт.Data leakageактуальноУтечка данных · ДанныеНужно понять природу проблемы, которую решает out-of-fold схема.

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Данные» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.

Связанные темы

Подготовка данных · Признаки: создание, отбор, важность · Деревья и ансамбли

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, ML Engineer, Инженер рекомендаций.

Усиливает профиль: Аналитик данных.

Спрашивают на собеседовании: Яндекс — Classic ML.

Добавить в учебную программу

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Классический ML24

Следующий шагПроверить себя: Классический MLТема встречается в этом тесте 2 раза. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Данные» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Feature engineering93%

Decision Trees85%

Random Forest85%

Gradient Boosting85%

XGBoost85%

LightGBM85%

CatBoost85%

SHAP85%

Data preprocessing75%

Missing values75%

Outliers75%

Normalization & Standardization75%

ML Pipelines75%

Feature selection70%

Feature engineering70%

Feature importance70%

Permutation Importance70%

Feature Stores70%

Topological features70%

One-hot

Target encoding

Сглаживание к среднему

Ordinal encoding

Эмбеддинги категорий

Encoding

Ключевые тезисы

Какую задачу решает

Подробный разбор

1One-Hot и dummy trapСамый безопасный способ кодирования и его подводные камни.

2Target encoding и утечкаСильнейший приём для категорий высокой кардинальности — и главный источник утечек.

3Остальные кодировщикиOrdinal, frequency, hashing, эмбеддинги — когда что уместно.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Feature engineering93%

Decision Trees85%

Random Forest85%

Gradient Boosting85%

XGBoost85%

LightGBM85%

CatBoost85%

SHAP85%

Data preprocessing75%

Missing values75%

Outliers75%

Normalization & Standardization75%

ML Pipelines75%

Feature selection70%

Feature engineering70%

Feature importance70%

Permutation Importance70%

Feature Stores70%

Topological features70%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

One-hot

Target encoding

Сглаживание к среднему

Ordinal encoding

Эмбеддинги категорий