Decision Trees

Последовательность вопросов « > порог», разбивающая пространство на прямоугольные области.

Gain = H (R) - \frac{∣ R _{ℓ} ∣}{∣ R ∣} H (R_{ℓ}) - \frac{∣ R _{r} ∣}{∣ R ∣} H (R_{r})

Что означает каждый компонент

$H (R)$ неоднородность до разбиения (Джини или энтропия)
$\frac{∣ R _{ℓ} ∣}{∣ R ∣} H (R_{ℓ})$ неоднородность левой части, взвешенная её долей объектов
$\frac{∣ R _{r} ∣}{∣ R ∣} H (R_{r})$ то же для правой части. Дерево выбирает порог, максимизирующий разность

Ключевые тезисы

Критерии разбиения: Gini и для классификации, для регрессии.
Не требуют масштабирования и сами ловят нелинейности и взаимодействия.
Без ограничения глубины и обрезки переобучаются практически всегда.

Какую задачу решает

строит предсказание как последовательность простых вопросов к признакам: «доход больше 50 тысяч?», «стаж меньше года?». Каждый вопрос делит выборку на две части так, чтобы внутри частей объекты стали однороднее по целевой переменной.

Отдельное дерево редко используют ради качества — оно переобучается и неустойчиво. Его ценность в двух других вещах: это единственная популярная модель, решение которой можно прочитать целиком как набор правил, и это строительный блок, из которого собраны и — сильнейшие модели на табличных данных.

Почему одно дерево неустойчиво

Обучите дерево на выборке, затем уберите 5% случайных объектов и обучите заново. С высокой вероятностью изменится сам корневой — а вместе с ним и вся структура ниже, потому что каждое последующее разбиение зависит от предыдущего. Предсказания при этом могут остаться похожими, но «объяснение» станет совсем другим. Именно эта неустойчивость и превращается в достоинство в случайном лесе: разные деревья ошибаются по-разному, и усреднение гасит их ошибки.

Подробный разбор

3 подтемы — объяснения, формулы, примеры и интерактивные графики.

Каждый внутренний узел содержит предикат вида « $x_{j}$ > порог $t$ ». Объект спускается от корня к листу, отвечая на вопросы; в листе хранится ответ: доля классов или среднее значение цели.

Границы всегда параллельны осям — отсюда «лесенка» вместо наклонной прямой.
Дерево глубины $h$ разбивает пространство максимум на $2^{h}$ прямоугольных областей.
Пропуски и разные масштабы дереву не мешают.

Gain = H (R) - \frac{∣ R _{ℓ} ∣}{∣ R ∣} H (R_{ℓ}) - \frac{∣ R _{r} ∣}{∣ R ∣} H (R_{r})

Обозначения

$H (p)$ энтропия — мера неопределённости распределения
$r$ награда, полученная агентом на шаге

Прирост информации: насколько разбиение снизило неоднородность

H_{Gini} (R) = 1 - k \sum p_{k}^{2}, H_{entropy} (R) = - k \sum p_{k} lo g_{2} p_{k}

Обозначения

$p$ вероятность (или плотность распределения)
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Считаем

В узле 10 объектов: 6 класса 1 и 4 класса 0. $p_{1} = 0.6$ , Джини $= 1 - (0.36 + 0.16) = 0.48$ . Если разбиение даёт слева (5 объектов: 5 и 0) и справа (5 объектов: 1 и 4), то Gain $= 0.48 - 0.5 \cdot 0 - 0.5 \cdot 0.32 = 0.32$ .

H(корень)0.498

H(лево)0.375

H(право)0.245

Information Gain0.183

Порог предиката x > t0.50

Критерий информативности

Двигайте порог и следите за Information Gain — жадный алгоритм выбирает его максимум

max_depth — самый понятный ограничитель сложности.
min_samples_leaf — не позволяет создавать листья из одного-двух объектов.
min_impurity_decrease — не делать разбиение, если выигрыш ничтожен.
Cost-Complexity Pruning (ccp_alpha) — сначала вырастить дерево, потом обрезать ветви, чей вклад не окупает сложности.

R_{α} (T) = R (T) + α ∣ листьев (T) ∣

Критерий стрижки: ошибка плюс штраф за размер дерева

Где применяется

Объяснимые правилаДерево глубины 3–4 превращается в понятную схему принятия решения для людей.
Автоматическое разбиение клиентов или объектов на группы по поведению.
Разведочный анализБыстро показывает, какие и в каких сочетаниях вообще влияют на цель.
Базовый элемент и состоят из деревьев — понимание дерева обязательно для их настройки.

Плюсы, минусы и альтернативы

Плюсы

Полная интерпретируемость: путь от корня до листа — готовое объяснение.
Не требует и работает с разномасштабными признаками.
Ловит нелинейности и взаимодействия автоматически.
Штатно работает с категориальными признаками и пропусками (в реализациях ).
Быстрое предсказание: несколько сравнений.

Минусы

Сильно переобучается без ограничений глубины.
Неустойчиво: небольшое изменение данных даёт совсем другое дерево.
Границы решения ступенчатые, параллельные осям — диагональную зависимость приближает лестницей.
Плохо экстраполирует: за пределами обучающего диапазона выдаёт константу.
смещены в пользу с большим числом уникальных значений.

Брать, если

Нужны понятные правила, а не только предсказание.
Идёт разведка данных и надо быстро увидеть структуру.
Готовится и нужно понимать его базовый элемент.

Не брать, если

Нужна максимальная метрика — одно дерево почти всегда проиграет .
Зависимость гладкая и линейная: линейная модель точнее и стабильнее.
Нужна экстраполяция за пределы обучающих данных.

Чем заменяют

Random ForestактуальноСлучайный лес · Классическое машинное обучениеНужна устойчивость и качество: усреднение сотни деревьев решает обе проблемы.Gradient BoostingактуальноГрадиентный бустинг · Классическое машинное обучениеНужна максимальная метрика на табличных данных.SHAPактуальноSHAP · Интерпретируемость моделейНужна интерпретация сложной модели, а не простая модель ради интерпретации.

Тема также относится к главам:Интерпретируемость моделейПрозрачные модели

Связанные темы

Деревья и ансамбли

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, ML Engineer, Инженер рекомендаций.

Усиливает профиль: Аналитик данных, Продуктовый инженер.

Добавить в учебную программу

Следующий шагДальше по связи: Random ForestБэггинг деревьев со случайными подвыборками объектов и признаков: усреднение резко снижает дисперсию.Перейти →

Глава «Классическое машинное обучение» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

Random Forest85%

Gradient Boosting85%

XGBoost85%

LightGBM85%

CatBoost85%

SHAP85%

Encoding85%

Разбиение (split)

Критерий Джини и энтропия

Глубина и min_samples_leaf

Обрезка (pruning)

Важность признаков

Decision Trees

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Устройство дереваКорень, предикаты, листья — и как из них получается предсказание.

2Критерий информативности и Information GainКак алгоритм выбирает лучший вопрос на каждом шаге.

3Переобучение и стрижкаДерево без ограничений всегда доучится до нулевой ошибки на train.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

Random Forest85%

Gradient Boosting85%

XGBoost85%

LightGBM85%

CatBoost85%

SHAP85%

Encoding85%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

Разбиение (split)

Критерий Джини и энтропия

Глубина и min_samples_leaf

Обрезка (pruning)

Важность признаков