Feature engineering

Создание , в которых закономерность становится линейно отделимой или просто более заметной для модели.

Ключевые тезисы

Агрегаты, разности, отношения, лаги и оконные статистики — рабочая лошадка табличных задач.
Доменные знания дают , которые модель не выведет из сырых столбцов.
Каждый новый — риск утечки: проверяйте, доступен ли он в предсказания.

Какую задачу решает

Модель видит только то, что вы ей дали. Если зависимость выражается через отношение двух , а вы подали их по отдельности, линейная модель эту связь не найдёт никогда, а дереву придётся приближать её лестницей из десятков разбиений. — это перевод знания о предметной области в форму, доступную алгоритму.

На табличных данных это, как правило, самый результативный вид работы: хороший даёт больше, чем переход от к бустингу. Обратная сторона — именно здесь чаще всего возникает утечка, потому что признак легко построить с использованием информации, которой в предсказания ещё не существует.

Признак, который нельзя строить

Задача: предсказать, вернёт ли клиент кредит. Соблазнительный — «среднее число просрочек по клиенту». Если считать его по всей истории, включая период после выдачи кредита, модель получит на обучении почти прямой доступ к ответу: 0.95, восторг команды, полный провал в проде. Правильно — считать агрегат строго по данным, доступным на дату заявки. Практический тест: для каждого признака спросите «в предсказания это значение уже существует?». Если ответ «нет» или «не уверен» — признак под подозрением.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Отношения и разности: цена за квадратный метр, доля погашенного долга, разница между зарплатой и средней по региону.
Агрегаты по группам: средний чек клиента, число заказов за 30 дней, стандартное отклонение суммы транзакций.
Лаги и окна (для рядов): значение неделю назад, скользящее среднее за 7 дней, минимум за месяц.
Календарь: день недели, праздник, номер недели, час — циклические лучше кодировать синусом и косинусом.

hour_{s i n} = sin (\frac{2 π h}{24}), hour_{c o s} = cos (\frac{2 π h}{24})

Циклическое кодирование: 23 часа и 0 часов оказываются рядом, а не на разных концах шкалы

Линейная модель не умеет умножать друг на друга. Если эффект признака зависит от другого («скидка работает только на дорогих товарах»), это взаимодействие нужно добавить руками.

(x_{1}, x_{2}) ⟶ (x_{1}, x_{2}, x_{1}^{2}, x_{2}^{2}, x_{1} x_{2})

PolynomialFeatures(degree=2) для двух даёт пять

На практике

Число растёт как $(k d + k)$ : 50 во второй степени превращаются в 1325. Дальше обязательна , иначе гарантировано. Деревьям и бустингу такие признаки нужны редко — они ловят взаимодействия сами.

степень полинома3

ошибка на train0.568

ошибка на test0.395

диагнозбаланс

Сложность модели (степень)3Уровень шума0.35

Степень полинома — прямой рычаг сложности: слева недообучение, справа переобучение

Где применяется

Табличные задачиОсновной источник прироста качества; часто важнее выбора модели.
Временные рядыЛаги, скользящие средние, календаря превращают ряд в обычную табличную задачу.
Транзакционные данныеАгрегаты по клиенту за окна времени — стандартный набор в скоринге и антифроде.
Линейные моделиВзаимодействия и нелинейности приходится вносить руками — иначе модель их не увидит.

Плюсы, минусы и альтернативы

Плюсы

Наибольший прирост качества на единицу усилий в табличных задачах.
интерпретируемы и обсуждаемы с предметными экспертами.
Хороший работает с любой моделью, а не только с текущей.
Позволяет вложить в модель знание, которого нет в данных явно.

Минусы

Требует понимания предметной области — не автоматизируется полностью.
Главный источник .
Число растёт быстро, и часть из них шум.
, построенные на агрегатах, нужно уметь пересчитывать в проде так же, как в обучении.

Брать, если

Данные табличные и есть доступ к предметной экспертизе.
Модель линейная: без ручных взаимодействий она слепа.
Есть время и события: календарные и лаговые почти всегда полезны.

Не брать, если

Данные — изображения, звук, текст: сеть построит лучше вас.
нельзя честно посчитать в предсказания — не создавайте его вовсе.

Чем заменяют

Data leakageактуальноУтечка данных · ДанныеНужно проверить построенные на утечку — обязательный парный шаг.Feature engineeringактуальноРабота с признаками · Практика MLНужны конкретные рецепты и практические приёмы.Feature selectionактуальноОтбор признаков · Данные стало слишком много и пора отбирать.

Тема также относится к главам:Практика MLПризнаки

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

1:57:31Алгоритм поиска признаков SIFTКомпьютерное зрение 3D · Лекция «Многовидовая геометрия» · 2 ч 48 мин 1:08:40Построение графа обхода на основе признаковКомпьютерное зрение 3D · Лекция «Развитие многовидовых трансформеров» · 2 ч 18 мин 2:05:07Дополнительные фичи DeepSpeedПрикладной MLOps · Лекция «Ускорение вычислений и инференс» · 2 ч 52 мин

Связанные темы

Признаки в реальном времени · Подготовка данных · Признаки: создание, отбор, важность

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, ML Engineer, Инженер рекомендаций.

Усиливает профиль: Аналитик данных.

Спрашивают на собеседовании: Яндекс — Classic ML, Wildberries — Спрос, цены и акции, ЮMoney — Антифрод платежей, X5 Tech — Спрос и пополнение, Магнит — Ассортимент и спрос, Lamoda — Рекомендации и поиск, Самокат — Спрос и ассортимент даркстора, Самокат — Логистика и сроки доставки, Dodo Brands — Прогноз заказов и планирование смен, Спортмастер — Закупка и ассортимент, Циан — Оценка недвижимости, Авиасейлс — Прогноз цен и подсказки, МегаФон — Отток и предложения, BI.ZONE — Антифрод и защита от автоматизации, СКБ Контур — Проверка контрагентов, Северсталь — Оптимизация производства.

Добавить в учебную программу

Следующий шагДальше по связи: Feature StoresЦентрализованное хранилище признаков, единое для обучения и онлайн-инференса.Перейти →

Глава «Данные» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.