Доля целевой переменной, объяснённая моделью, относительно константного прогноза.
- ошибка вашей модели — сумма квадратов остатков
- ошибка простейшего прогноза средним. Отношение показывает, во сколько раз модель лучше константы
Ключевые тезисы
- 1 — идеал, 0 — уровень среднего, отрицательные значения хуже среднего.
- Растёт при добавлении любых , даже бесполезных.
- Не сравним между разными датасетами.
Какую задачу решает
отвечает на вопрос «насколько модель лучше, чем предсказание средним значением». Ноль означает, что модель не лучше константы, единица — идеальное попадание, отрицательное значение — что модель хуже, чем если бы вы просто взяли среднее.
Ценность в безразмерности: в 500 рублей ничего не говорит, пока не знаешь масштаб цен, а читается сразу. Ловушек, впрочем, тоже хватает: на обучающей выборке растёт от добавления любого , даже случайного, и на временных рядах высокое значение часто означает, что модель просто повторяет вчерашнее значение.
Модель прогноза продаж даёт — команда празднует. Проверка: посчитайте для наивного прогноза «завтра будет как сегодня». На рядах с трендом и сезонностью он часто оказывается 0.93. То есть вся ценность модели — два процентных пункта, а высокое значение обеспечено тем, что среднее по ряду с трендом является очень плохой базовой линией. Для временных рядов правильные метрики — MASE или сравнение с наивным прогнозом напрямую.
Подробный разбор
- предсказание модели
- истинное значение целевой переменной
- суммирование по всем перечисленным элементам
- — идеальное предсказание; — модель не лучше константы; — хуже среднего.
- На train у не может убывать при добавлении — даже случайных.
- Между разными датасетами несравним: он зависит от цели.
SGD-регрессор без масштабирования легко даёт — это не «плохая модель», а расходимость обучения. того, что забыли StandardScaler.
- « — значит модель хорошая». Не обязательно: при почти постоянной цели даже слабая модель даст высокий .
- « на train и test сравнимы». Сравнивать нужно с одинаковой цели; разные тестовые выборки дают несопоставимые значения.
- « — ошибка в коде». Не всегда: это просто означает, что модель хуже среднего — например, при экстраполяции.
Где применяется
- Сравнение моделей на одной задачеБезразмерность позволяет сравнивать разные подходы напрямую.
- Отчётность«Модель объясняет 85% » — формулировка, понятная без контекста.
- Оценка сложности задачиНизкий у всех моделей означает, что в данных мало сигнала, а не что модели плохи.
- Диагностика линейных моделейЧасть стандартного набора статистической диагностики регрессии.
Плюсы, минусы и альтернативы
Плюсы
- Безразмерна и интерпретируема без знания масштаба задачи.
- Содержательная нулевая точка: сравнение с тривиальной моделью.
- Общепринята и понятна широкой аудитории.
Минусы
- На обучающей выборке растёт от любых , включая шумовые.
- На временных рядах даёт обманчиво высокие значения из-за .
- Не говорит о смещении: модель может быть систематически завышенной при высоком .
- Несравнима между задачами: 0.3 в социологии — хорошо, в физике — провал.
- Чувствительна к выбросам, поскольку основана на квадратах.
Брать, если
- Нужно сравнить модели на одной задаче в безразмерной шкале.
- Нужно объяснить результат нетехнической аудитории.
Не брать, если
- Данные — временной ряд: сравнивайте с наивным прогнозом «как вчера», а не со средним.
- Нужна абсолютная величина ошибки для принятия решения.
- много и считается на обучении — берите скорректированный.
Чем заменяют
Связанные темы
Качество регрессии
MAE80%
Средняя абсолютная ошибка · МетрикиСреднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.
MSE80%
Среднеквадратичная ошибка · МетрикиСреднее квадратов ошибок: сильно штрафует большие отклонения.
RMSE80%
Корень из среднеквадратичной ошибки · МетрикиКорень из MSE — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.
MAPE80%
Средняя абсолютная процентная ошибка · МетрикиОтносительная ошибка в процентах — удобна для сравнения рядов разного масштаба.
SMAPE80%
Симметричная MAPE · МетрикиВариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.
Adjusted R²80%
Скорректированный R² · МетрикиR² со штрафом за число признаков — падает, если новый признак не приносит пользы.
Linear Regression80%
Линейная регрессия · Классическое машинное обучениеПредсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.
Loss functions80%
Функции потерь · Глубокое обучениеФормализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Базовая линия — среднее
Знаменатель считается относительно предсказания средним, а не нулём.
Разбор ниже: Что означает R²Отрицательные значения
На тестовой выборке вполне возможны и означают, что модель хуже константы.
Разбор ниже: Как неправильно читают R²Рост от лишних признаков
На обучении не убывает при добавлении — отсюда потребность в скорректированном варианте.
Разбор ниже: Как неправильно читают R²Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.