MSE — Среднеквадратичная ошибка

Среднее квадратов ошибок: сильно штрафует большие отклонения.

MSE = \frac{1}{n} i = 1 \sum n (y_{i} - y^_{i})^{2}

Что означает каждый компонент

$\frac{1}{n} \sum$ усреднение по всем объектам выборки
$y_{i} - y^_{i}$ ошибка на объекте: факт минус предсказание
$(\cdot)^{2}$ квадрат: ошибка 10 весит как сто ошибок по 1 — метрика штрафует крупные промахи

Ключевые тезисы

Гладкая и удобная для градиентной оптимизации.
Очень чувствительна к выбросам.
Измеряется в квадрате единиц цели, поэтому неудобна для интерпретации.

Тема также относится к главам:Классическое машинное обучениеФункции потерь Глубокое обучениеФункции потерь

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Квадратичный штраф

Почему MSE так любят оптимизировать и так не любят интерпретировать.

MSE = \frac{1}{n} i = 1 \sum n (y_{i} - y^_{i})^{2}

Обозначения

$y^$ предсказание модели
$y$ истинное значение целевой переменной
$n$ число объектов в выборке
$\sum$ суммирование по всем перечисленным элементам

Гладкая и дифференцируемая всюду — идеальна для градиентных методов.
Оптимальный постоянный прогноз — среднее.
Ошибка 10 весит как сто ошибок по 1: метрика заставляет модель в первую очередь избегать крупных промахов.
Единицы измерения — квадрат единиц цели, поэтому напрямую её не интерпретируют.

MSE4.00

MAE2.00

Huber1.50

Задача

δ у Huber1.0

Сравните ветви MSE и MAE: расхождение растёт именно на больших ошибках

Логарифмирование целевой переменной

Стандартный приём для скошенных величин.

RMSLE = \frac{1}{n} i \sum (lo g (1 + y_{i}) - lo g (1 + y^_{i}))^{2}

Обозначения

$y^$ предсказание модели
$y$ истинное значение целевой переменной
$n$ число объектов в выборке
$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Обучение на $lo g (1 + y)$ превращает мультипликативные ошибки в аддитивные: модель начинает штрафоваться за относительное отклонение. Но помните: обратное преобразование $e^{z^}$ даёт медиану, а не среднее — при необходимости вводят поправку Дюана.

Связанные темы

Качество регрессии

MAE80%

Средняя абсолютная ошибка · Метрики

Среднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.

RMSE80%

Корень из среднеквадратичной ошибки · Метрики

Корень из MSE — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.

MAPE80%

Средняя абсолютная процентная ошибка · Метрики

Относительная ошибка в процентах — удобна для сравнения рядов разного масштаба.

SMAPE80%

Симметричная MAPE · Метрики

Вариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.

R²80%

Коэффициент детерминации · Метрики

Доля дисперсии целевой переменной, объяснённая моделью, относительно константного прогноза.

Adjusted R²80%

Скорректированный R² · Метрики

R² со штрафом за число признаков — падает, если новый признак не приносит пользы.

Linear Regression80%

Линейная регрессия · Классическое машинное обучение

Предсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.

Loss functions80%

Функции потерь · Глубокое обучение

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.