Метрики

MSE

Среднеквадратичная ошибка

актуальноТекущий рабочий стандарт

Направления: Машинное обучение · Оценка моделей

Среднее квадратов ошибок: сильно штрафует большие отклонения.

Что означает каждый компонент
  • усреднение по всем объектам выборки
  • ошибка на объекте: факт минус предсказание
  • квадрат: ошибка 10 весит как сто ошибок по 1 — метрика штрафует крупные промахи

Ключевые тезисы

  • Гладкая и удобная для оптимизации.
  • Очень чувствительна к выбросам.
  • Измеряется в квадрате единиц цели, поэтому неудобна для интерпретации.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • предсказание модели
  • истинное значение целевой переменной
  • число объектов в выборке
  • суммирование по всем перечисленным элементам
  • Гладкая и дифференцируемая всюду — идеальна для методов.
  • Оптимальный постоянный прогноз — среднее.
  • Ошибка 10 весит как сто ошибок по 1: метрика заставляет модель в первую избегать крупных промахов.
  • Единицы измерения — квадрат единиц цели, поэтому напрямую её не интерпретируют.
-3-1130246ошибка y − ŷпотериMSEMAEHuber
MSE4.00
MAE2.00
Huber1.50
Задача
Сравните ветви MSE и MAE: расхождение растёт именно на больших ошибках

Обозначения
  • предсказание модели
  • истинное значение целевой переменной
  • число объектов в выборке
  • суммирование по всем перечисленным элементам
  • логарифм: превращает произведения в суммы и сжимает масштаб

Обучение на превращает мультипликативные ошибки в аддитивные: модель начинает штрафоваться за относительное отклонение. Но помните: обратное преобразование даёт медиану, а не среднее — при необходимости вводят поправку Дюана.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

Связанные темы

Качество регрессии

MAE80%

Средняя абсолютная ошибка · Метрики

Среднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.

RMSE80%

Корень из среднеквадратичной ошибки · Метрики

Корень из MSE — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.

MAPE80%

Средняя абсолютная процентная ошибка · Метрики

Относительная ошибка в процентах — удобна для сравнения рядов разного масштаба.

SMAPE80%

Симметричная MAPE · Метрики

Вариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.

R²80%

Коэффициент детерминации · Метрики

Доля дисперсии целевой переменной, объяснённая моделью, относительно константного прогноза.

Adjusted R²80%

Скорректированный R² · Метрики

R² со штрафом за число признаков — падает, если новый признак не приносит пользы.

Linear Regression80%

Линейная регрессия · Классическое машинное обучение

Предсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.

Loss functions80%

Функции потерь · Глубокое обучение

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.

Следующий шагДальше по связи: MAEСреднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.Перейти →

Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.