Метрики

R²

Коэффициент детерминации

актуальноТекущий рабочий стандарт

Направления: Машинное обучение · Оценка моделей

Доля целевой переменной, объяснённая моделью, относительно константного прогноза.

Что означает каждый компонент
  • ошибка вашей модели — сумма квадратов остатков
  • ошибка простейшего прогноза средним. Отношение показывает, во сколько раз модель лучше константы
R² = 1 — идеально, 0 — как среднее, меньше нуля — хуже среднего

Ключевые тезисы

  • 1 — идеал, 0 — уровень среднего, отрицательные значения хуже среднего.
  • Растёт при добавлении любых , даже бесполезных.
  • Не сравним между разными датасетами.

Какую задачу решает

отвечает на вопрос «насколько модель лучше, чем предсказание средним значением». Ноль означает, что модель не лучше константы, единица — идеальное попадание, отрицательное значение — что модель хуже, чем если бы вы просто взяли среднее.

Ценность в безразмерности: в 500 рублей ничего не говорит, пока не знаешь масштаб цен, а читается сразу. Ловушек, впрочем, тоже хватает: на обучающей выборке растёт от добавления любого , даже случайного, и на временных рядах высокое значение часто означает, что модель просто повторяет вчерашнее значение.

Ловушка $R^2$ на временных рядах

Модель прогноза продаж даёт — команда празднует. Проверка: посчитайте для наивного прогноза «завтра будет как сегодня». На рядах с трендом и сезонностью он часто оказывается 0.93. То есть вся ценность модели — два процентных пункта, а высокое значение обеспечено тем, что среднее по ряду с трендом является очень плохой базовой линией. Для временных рядов правильные метрики — MASE или сравнение с наивным прогнозом напрямую.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • предсказание модели
  • истинное значение целевой переменной
  • суммирование по всем перечисленным элементам
  • — идеальное предсказание; — модель не лучше константы; — хуже среднего.
  • На train у не может убывать при добавлении — даже случайных.
  • Между разными датасетами несравним: он зависит от цели.
Пример

SGD-регрессор без масштабирования легко даёт — это не «плохая модель», а расходимость обучения. того, что забыли StandardScaler.

  • « — значит модель хорошая». Не обязательно: при почти постоянной цели даже слабая модель даст высокий .
  • « на train и test сравнимы». Сравнивать нужно с одинаковой цели; разные тестовые выборки дают несопоставимые значения.
  • « — ошибка в коде». Не всегда: это просто означает, что модель хуже среднего — например, при экстраполяции.

Где применяется

  • Сравнение моделей на одной задачеБезразмерность позволяет сравнивать разные подходы напрямую.
  • Отчётность«Модель объясняет 85% » — формулировка, понятная без контекста.
  • Оценка сложности задачиНизкий у всех моделей означает, что в данных мало сигнала, а не что модели плохи.
  • Диагностика линейных моделейЧасть стандартного набора статистической диагностики регрессии.

Плюсы, минусы и альтернативы

Плюсы

  • Безразмерна и интерпретируема без знания масштаба задачи.
  • Содержательная нулевая точка: сравнение с тривиальной моделью.
  • Общепринята и понятна широкой аудитории.

Минусы

  • На обучающей выборке растёт от любых , включая шумовые.
  • На временных рядах даёт обманчиво высокие значения из-за .
  • Не говорит о смещении: модель может быть систематически завышенной при высоком .
  • Несравнима между задачами: 0.3 в социологии — хорошо, в физике — провал.
  • Чувствительна к выбросам, поскольку основана на квадратах.

Брать, если

  • Нужно сравнить модели на одной задаче в безразмерной шкале.
  • Нужно объяснить результат нетехнической аудитории.

Не брать, если

  • Данные — временной ряд: сравнивайте с наивным прогнозом «как вчера», а не со средним.
  • Нужна абсолютная величина ошибки для принятия решения.
  • много и считается на обучении — берите скорректированный.

Чем заменяют

Связанные темы

Качество регрессии

MAE80%

Средняя абсолютная ошибка · Метрики

Среднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.

MSE80%

Среднеквадратичная ошибка · Метрики

Среднее квадратов ошибок: сильно штрафует большие отклонения.

RMSE80%

Корень из среднеквадратичной ошибки · Метрики

Корень из MSE — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.

MAPE80%

Средняя абсолютная процентная ошибка · Метрики

Относительная ошибка в процентах — удобна для сравнения рядов разного масштаба.

SMAPE80%

Симметричная MAPE · Метрики

Вариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.

Adjusted R²80%

Скорректированный R² · Метрики

R² со штрафом за число признаков — падает, если новый признак не приносит пользы.

Linear Regression80%

Линейная регрессия · Классическое машинное обучение

Предсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.

Loss functions80%

Функции потерь · Глубокое обучение

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.

Следующий шагДальше по связи: MAEСреднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.Перейти →

Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.