Random Forest

Бэггинг деревьев со случайными подвыборками объектов и признаков: усреднение резко снижает дисперсию.

Ключевые тезисы

Деревья строятся независимо, поэтому обучение легко параллелится.
OOB-оценка даёт качество без отдельной валидационной выборки.
Надёжный бейзлайн: почти не требует настройки гиперпараметров.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Бэггинг и бутстрэп

Почему усреднение независимых моделей снижает разброс.

Бутстрэп — выборка того же размера с возвращением. Каждое дерево обучается на своей такой выборке, поэтому деревья получаются разными. Их усреднение гасит случайные ошибки отдельных деревьев.

Var [\frac{1}{m} i = 1 \sum m a_{i}] = \frac{σ ^{2}}{m} + \frac{m - 1}{m} ρ σ^{2}

Обозначения

$Var$ дисперсия — мера разброса значений
$σ$ стандартное отклонение — разброс величины
$\sum$ суммирование по всем перечисленным элементам

Разброс падает в

m

раз только при независимых моделях; корреляция

ρ

ставит предел

Именно поэтому случайный лес дополнительно выбирает случайное подмножество признаков в каждом узле: это снижает $ρ$ между деревьями и делает усреднение эффективнее.

моделей в ансамбле5

MSE на обучении0.205

типбустинг (последовательно)

Ансамбль

Число базовых моделей5

Переключайтесь между бэггингом и бустингом и увеличивайте число моделей — видно, как по-разному они приближают зависимость

OOB-оценка и важности признаков

Два бесплатных бонуса, которые даёт бутстрэп.

При бутстрэпе примерно $1 - (1 - 1/ n)^{n} \to 1/ e \approx 36.8%$ объектов не попадают в выборку дерева. На них можно измерить качество без отдельной валидации — это и есть OOB-оценка.

Встроенная важность (по снижению неоднородности) смещена в пользу признаков с большим числом уникальных значений.
Перестановочная важность честнее: перемешиваем признак и смотрим падение качества на OOB.
Коррелированные признаки делят важность между собой — не читайте важности как «вклад в причину».

На практике

Случайный лес почти не переобучается с ростом числа деревьев: добавление деревьев только стабилизирует ответ. Ограничивать нужно глубину и минимальный размер листа, а не количество деревьев.

Связанные темы

Ансамблирование · Переобучение и регуляризация · Деревья и ансамбли

Ключевые тезисы

Подробный разбор

Бэггинг и бутстрэп

OOB-оценка и важности признаков

Связанные темы

Gradient Boosting98%

Variance97%

Stacking and Blending85%

Cross-validation85%

Decision Trees85%

XGBoost85%

LightGBM85%

CatBoost85%

SHAP85%

Encoding85%

Regularization80%

Weight Decay80%

Early Stopping80%

Overfitting80%

Underfitting80%