Убираем шумные и избыточные , чтобы снизить , ускорить и упростить интерпретацию.
Ключевые тезисы
- Три семейства методов: filter (, χ²), wrapper (RFE), embedded (, важности деревьев).
- Коррелированные делят важность между собой и маскируют друг друга.
- Отбор — часть pipeline, его нужно делать внутри каждого фолда .
Подробный разбор
| Семейство | Как работает | Стоимость | Примеры |
|---|---|---|---|
| Filter | статистика с целью, без модели | дёшево | , χ², взаимная информация |
| Wrapper | перебор подмножеств с обучением модели | дорого | RFE, последовательный отбор |
| Embedded | отбор происходит внутри обучения | почти бесплатно | , важности деревьев |
Filter-методы смотрят на по одному и потому пропускают взаимодействия: признак может быть бесполезен сам по себе и незаменим в паре с другим.
- Коррелированные признаки делят важность: два почти одинаковых получат по половине и оба покажутся слабыми.
- Отбор вне кросс-валидации — утечка: если отобрать по всей выборке, а потом кроссвалидировать, оценка будет завышена. Отбор должен быть внутри фолда.
- Нестабильность: на другой подвыборке порядок важностей может измениться. Проверяйте отбор на нескольких сидах.
Практичный порядок: убрать константы и почти-дубликаты → отбросить с нулевой важностью в бустинге → проверить на , что качество не упало. Это даёт и скорость, и устойчивость.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Данные» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Признаки: создание, отбор, важность · Интерпретируемая статистика
Correlation75%
Корреляция · Математический справочникНормированная мера связи двух величин: ковариация, поделённая на разброс каждой из них.
Generalized Additive Models75%
Обобщённые аддитивные модели · Классическое машинное обучениеСумма гладких функций от отдельных признаков: нелинейность есть, а интерпретируемость линейной модели сохраняется.
Linear Regression75%
Линейная регрессия · Классическое машинное обучениеПредсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.
Partial Dependence75%
Partial Dependence Plot · Интерпретируемость моделейПоказывает средний эффект признака на предсказание при усреднении по остальным признакам.
Data Visualization75%
Визуализация данных · ДанныеГрафики как инструмент разведки: увидеть распределения, связи и аномалии до того, как обучена первая модель.
Feature engineering70%
Конструирование признаков · ДанныеСоздание признаков, в которых закономерность становится линейно отделимой или просто более заметной для модели.
Encoding70%
Кодирование категорий · ДанныеПеревод категориальных признаков в числа: one-hot, ordinal, target encoding, хеширование, эмбеддинги.
Feature engineering70%
Работа с признаками · Практика MLНа табличных данных грамотные признаки дают больший прирост, чем смена модели.
Feature importance70%
Важность признаков · Интерпретируемость моделейОценка вклада признаков в предсказания модели — первый шаг к пониманию её логики.
Permutation Importance70%
Перестановочная важность · Интерпретируемость моделейПризнак перемешивается, и измеряется падение качества модели — модельно-независимый и честный подход.
Feature Stores70%
Хранилища признаков · MLOpsЦентрализованное хранилище признаков, единое для обучения и онлайн-инференса.
Topological features70%
Топологические признаки · Топологический анализ данныхВекторизация топологии: энтропия персистентности, суммарная длина жизни, числа Бетти, persistence images.
Спрашивают на собеседовании: Газпромбанк — Корпоративные риски, СИБУР — Качество и режимы производства.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Данные» последний раз правилась . Нашли ошибку — напишите.