XGBoost

Реализация с в , вторым порядком оптимизации и продуманной работой с разреженностью.

Ключевые тезисы

Использует и для выбора оптимального разбиения.
Штрафы за число листьев и величину весов встроены в критерий.
Автоматически обрабатывает пропуски, выбирая оптимальное направление ветвления.

Какую задачу решает

— это , доведённый до инженерного стандарта. Алгоритмически он добавил к классической схеме два важных изменения: разложение до второго порядка (используется не только градиент, но и ) и явную структуры дерева прямо в критерий разбиения.

Практическое значение оказалось даже больше алгоритмического: параллельное построение деревьев, работа с разреженными данными и пропусками, поддержка . Именно превратил из «одного из методов» в то, чем по умолчанию решают табличные задачи.

С чего начинать настройку

Порядок важности примерно такой: learning_rate (0.05 и ), max_depth (начните с 6), min_child_weight (регулирует минимальный размер листа), subsample и colsample_bytree (0.8 как разумный старт), затем gamma и lambda. Ошибка новичка — крутить сразу всё сеткой: пространство огромно, а вклад параметров сильно неравномерен. Настройте первые три, зафиксируйте, и только потом занимайтесь .

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Классический использует только . раскладывает по Тейлору до второго порядка, поэтому учитывает и кривизну.

L^{(m)} \approx i \sum [g_{i} h_{m} (x_{i}) + \frac{1}{2} ℏ_{i} h_{m}^{2} (x_{i})] + Ω (h_{m}), g_{i} = \partial_{F} L, ℏ_{i} = \partial_{F}^{2} L

Обозначения

$x$ объект: вектор признаков
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$\partial$ частная производная — чувствительность к одному аргументу

w_{j}^{*} = - \frac{\sum _{i \in I_{j}} g _{i}}{\sum _{i \in I_{j}} ℏ _{i} + λ}

Обозначения

$λ$ сила регуляризации
$w$ веса модели — то, что подбирается при обучении
$\sum$ суммирование по всем перечисленным элементам

Оптимальный вес листа выводится аналитически — отсюда и скорость, и точность

Ω (h) = γ T + \frac{λ}{2} j = 1 \sum T w_{j}^{2}

Обозначения

$λ$ сила регуляризации
$γ$ параметр ядра RBF: радиус влияния объекта
$w$ веса модели — то, что подбирается при обучении
$\sum$ суммирование по всем перечисленным элементам

T

— число листьев;

γ

штрафует за их количество,

λ

— за величину весов

Разбиение делается только если выигрыш превышает $γ$ — встроенная предобрезка.
Sparsity-aware split: для объектов с пропуском алгоритм выучивает, в какую ветвь их отправлять.
Гистограммный режим (tree_method="hist") убирает необходимость сортировать на каждом шаге.

Где применяется

Табличные задачи в продеСкоринг, отток, антифрод, спрос: проверенный временем выбор с предсказуемым поведением.
СоревнованияМноголетний стандарт Kaggle; часть решений до сих пор строится вокруг него.
Разреженные высокой мощности обрабатывается эффективно за счёт учёта разреженности.
Работает на кластерах через и Dask, когда данные не помещаются в память.

Плюсы, минусы и альтернативы

Плюсы

Очень высокое качество на табличных данных при аккуратной настройке.
Встроенная делает его устойчивее наивного .
Пропуски обрабатываются штатно, импьютация не нужна.
Зрелая экосистема: биндинги, , интеграции.
Предсказуемое поведение и обширная документация накопленных практик.

Минусы

Медленнее на больших выборках.
Категориальные требуют ручного кодирования (в отличие от ).
Много взаимозависимых .
Память растёт с числом и глубиной.
Переобучается без , как любой .

Брать, если

Табличная задача, нужен проверенный инструмент с предсказуемым поведением.
Данные разрежены или в них много пропусков.
Нужна распределённая обучалка на кластере.

Не брать, если

Данных десятки миллионов строк и важна скорость — обучится быстрее.
Категориальных много и они высокой мощности — избавит от ручного кодирования.
Задача не табличная.

Чем заменяют

LightGBMактуальноLightGBM · Классическое машинное обучениеСтрок миллионы и обучение занимает часы: leaf-wise рост и гистограммы дают кратное ускорение.CatBoostактуальноCatBoost · Классическое машинное обучениеКатегориальных много: обработка из коробки экономит и время, и качество.Gradient BoostingактуальноГрадиентный бустинг · Классическое машинное обучениеНужно понять сам механизм, а не конкретную реализацию.

Связанные темы

Деревья и ансамбли

Следующий шагДальше по связи: Decision TreesПоследовательность вопросов «признак > порог», разбивающая пространство на прямоугольные области.Перейти →

Глава «Классическое машинное обучение» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

Decision Trees85%

Random Forest85%

Gradient Boosting85%

LightGBM85%

CatBoost85%

SHAP85%

Encoding85%

Второй порядок

Регуляризация структуры

Sparsity-aware split

subsample и colsample

Level-wise рост

XGBoost

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Второй порядок и разложение ТейлораЧем XGBoost отличается от классического бустинга математически.

2Регуляризация и работа с пропускамиШтраф за сложность прямо в критерии разбиения.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

Decision Trees85%

Random Forest85%

Gradient Boosting85%

LightGBM85%

CatBoost85%

SHAP85%

Encoding85%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

Второй порядок

Регуляризация структуры

Sparsity-aware split

subsample и colsample

Level-wise рост