На табличных данных грамотные признаки дают больший прирост, чем смена модели.
Ключевые тезисы
- Начните с признаков, которые предложил бы эксперт предметной области.
- Проверяйте каждый признак на доступность в момент инференса.
- Итерация «новый признак → валидация → анализ ошибок» — основной рабочий цикл.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Рабочий цикл
Гипотеза → признак → валидация → анализ ошибок.
- Сформулировать гипотезу словами: «клиенты, у которых выросла частота обращений, чаще уходят».
- Реализовать признак и проверить его доступность в момент предсказания.
- Замерить прирост на кросс-валидации с фиксированным сидом.
- Посмотреть, какие ошибки исчезли, — это подсказывает следующую гипотезу.
Ведите журнал признаков: что пробовали, какой был прирост, почему отказались. Через месяц эта таблица сэкономит вам неделю повторных экспериментов.
2Доменные признаки
То, что модель не выведет из сырых столбцов.
| Область | Примеры сильных признаков |
|---|---|
| Скоринг | долговая нагрузка, стабильность дохода, глубина просрочек |
| Ритейл | доля промо в покупках, регулярность визитов, ширина корзины |
| Антифрод | скорость смены устройств, отклонение от собственного профиля |
| Промышленность | отклонение от режимного окна, скорость износа |
Полчаса разговора с экспертом предметной области регулярно дают больше, чем неделя автоматической генерации признаков.
Связанные темы
Признаки в реальном времени · Признаки: создание, отбор, важность
Feature Stores96%
Хранилища признаков · MLOpsЦентрализованное хранилище признаков, единое для обучения и онлайн-инференса.
Feature engineering96%
Конструирование признаков · ДанныеСоздание признаков, в которых закономерность становится линейно отделимой или просто более заметной для модели.
Online and Offline Features85%
Онлайн- и офлайн-признаки · Системный дизайн ML-сервисовЧасть признаков считается заранее, часть — в момент запроса. Расхождение между ними — главный источник инцидентов.
Batch and Streaming85%
Батч и стриминг · Инженерия данныхОбработка по расписанию против непрерывной обработки событий. Разные задержки, разные гарантии, разная стоимость.
Change Data Capture85%
Захват изменений (CDC) · Инженерия данныхЧтение журнала изменений базы вместо периодических полных выгрузок.
Encoding70%
Кодирование категорий · ДанныеПеревод категориальных признаков в числа: one-hot, ordinal, target encoding, хеширование, эмбеддинги.
Feature selection70%
Отбор признаков · ДанныеУбираем шумные и избыточные признаки, чтобы снизить переобучение, ускорить инференс и упростить интерпретацию.
Feature importance70%
Важность признаков · Интерпретируемость моделейОценка вклада признаков в предсказания модели — первый шаг к пониманию её логики.
Permutation Importance70%
Перестановочная важность · Интерпретируемость моделейПризнак перемешивается, и измеряется падение качества модели — модельно-независимый и честный подход.
Topological features70%
Топологические признаки · Топологический анализ данныхВекторизация топологии: энтропия персистентности, суммарная длина жизни, числа Бетти, persistence images.