Adjusted R²

R² со штрафом за число признаков — падает, если новый признак не приносит пользы.

Ключевые тезисы

Помогает честно сравнивать модели разной сложности.
Может быть меньше обычного R² и уходить в минус.
Ключевой инструмент при отборе признаков в эконометрике.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Штраф за число признаков

Как честно сравнивать модели разной сложности.

R_{adj}^{2} = 1 - (1 - R^{2}) \frac{n - 1}{n - d - 1}

n

— число объектов,

d

— число признаков

Добавили признак — $R^{2}$ вырос всегда, $R_{adj}^{2}$ вырастет только если прирост объяснённой дисперсии перекрыл штраф за лишний параметр. Поэтому в эконометрике сравнивают модели именно по нему.

AIC, BIC и кросс-валидация

Другие способы штрафовать сложность.

AIC = 2 k - 2 ln L^, BIC = k ln n - 2 ln L^

Обозначения

$n$ число объектов в выборке
$k$ размер топа выдачи (K) или номер позиции
$L$ функция потерь — то, что минимизируется при обучении
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

BIC штрафует сложность сильнее AIC и потому выбирает более простые модели. Оба критерия применимы только внутри одного семейства моделей на одних данных. В машинном обучении надёжнее прямая оценка на отложенной выборке.

Связанные темы

Качество регрессии

Ключевые тезисы

Подробный разбор

Штраф за число признаков

AIC, BIC и кросс-валидация

Связанные темы

MAE80%

MSE80%

RMSE80%

MAPE80%

SMAPE80%

R²80%

Linear Regression80%

Loss functions80%