КабинетПоиск
Метрики

MAE

Средняя абсолютная ошибка

актуальноТекущий рабочий стандарт

Направления: Машинное обучение · Оценка моделей

Среднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.

Что означает каждый компонент
  • среднее по объектам
  • ошибка на объекте
  • модуль вместо квадрата: все ошибки весят пропорционально размеру, выбросы не доминируют

Ключевые тезисы

  • Оптимальный прогноз при — медиана, а не среднее.
  • Легко объясняется бизнесу: «в среднем ошибаемся на N единиц».
  • Недифференцируема в нуле, что чуть усложняет оптимизацию.

Какую задачу решает

— средняя абсолютная ошибка: на сколько в среднем модель промахивается, в тех же единицах, что и целевая переменная. Ошибка в 100 рублей вносит ровно вдвое больший вклад, чем ошибка в 50, — никакого дополнительного веса крупным промахам не даётся.

Отсюда два следствия. Первое: устойчива к выбросам, и одна аномальная строка не перекашивает оценку. Второе: оптимальное предсказание по MAE — медиана, а не среднее. Это не тонкость, а рабочее свойство: на скошенных распределениях модель, обученная на MAE, систематически даёт более «типичный», а не более «средний» прогноз.

MAE и RMSE отвечают на разные вопросы

Две модели на 100 объектах. Первая ошибается на 10 единиц везде: = 10, = 10. Вторая точна на 99 объектах и промахивается на 100 единиц на одном: MAE = 1, RMSE = 10. По MAE вторая модель в десять раз лучше, по RMSE они равны. Какая права — зависит от задачи: если один сорванный заказ из ста приемлем, берите вторую и меряйте MAE; если крупный промах означает остановку производства, берите первую и меряйте RMSE. Докладывать полезно обе.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • предсказание модели
  • истинное значение целевой переменной
  • число объектов в выборке
  • суммирование по всем перечисленным элементам

Оптимальный постоянный прогноз при — медиана, а не среднее. Это делает метрику устойчивой к выбросам: один аномальный объект не сдвинет решение.

Пример

Прогноз спроса ошибается в среднем на 12 единиц — это . Такое число можно сразу перевести в деньги: 12 единиц × стоимость хранения.

  • В данных есть редкие экстремальные значения, которые вы не обязаны предсказывать точно.
  • Бизнесу важна типичная ошибка, а не худший случай.
  • Целевая переменная скошена (доходы, длительности, чеки).
На практике

Если крупные промахи всё же дороги, но мешают, берите Huber: квадратичный штраф вблизи нуля и линейный на хвостах.

Где применяется

  • Прогноз спросаОшибка в штуках понятна и напрямую переводится в деньги.
  • Данные с Там, где отдельные аномальные значения не должны определять оценку модели.
  • Отчётность для бизнеса«В среднем ошибаемся на 3 дня» — формулировка, не требующая объяснений.
  • Медианная регрессияЕсли нужен типичный, а не средний прогноз, — правильная цель обучения.

Плюсы, минусы и альтернативы

Плюсы

  • Прямая интерпретация в единицах задачи.
  • Устойчива к выбросам.
  • Все ошибки взвешены одинаково — честно, когда цена ошибки линейна.
  • Легко объяснить и сравнить между периодами.

Минусы

  • Не выделяет крупные промахи, а иногда именно они критичны.
  • Недифференцируема в нуле — оптимизация чуть сложнее, чем у .
  • Несравнима между задачами с разным масштабом цели.
  • Не показывает, есть ли систематическое смещение прогноза.

Брать, если

  • Цена ошибки растёт линейно с её величиной.
  • В данных есть , и они не должны доминировать.
  • Метрику нужно объяснять нетехнической аудитории.

Не брать, если

  • Крупные ошибки непропорционально дороги — берите .
  • Нужно сравнивать качество между задачами разного масштаба — берите относительную метрику.

Чем заменяют

RMSEактуальноКорень из среднеквадратичной ошибки · МетрикиКрупные ошибки должны наказываться сильнее.MAPEклассикаСредняя абсолютная процентная ошибка · МетрикиНужна относительная ошибка, сравнимая между рядами разного масштаба.R²актуальноКоэффициент детерминации · МетрикиНужно понять, лучше ли модель тривиального предсказания средним.
Тема также относится к главам:Классическое машинное обучениеФункции потерь

Связанные темы

Качество регрессии

MSE80%

Среднеквадратичная ошибка · Метрики

Среднее квадратов ошибок: сильно штрафует большие отклонения.

RMSE80%

Корень из среднеквадратичной ошибки · Метрики

Корень из MSE — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.

MAPE80%

Средняя абсолютная процентная ошибка · Метрики

Относительная ошибка в процентах — удобна для сравнения рядов разного масштаба.

SMAPE80%

Симметричная MAPE · Метрики

Вариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.

R²80%

Коэффициент детерминации · Метрики

Доля дисперсии целевой переменной, объяснённая моделью, относительно константного прогноза.

Adjusted R²80%

Скорректированный R² · Метрики

R² со штрафом за число признаков — падает, если новый признак не приносит пользы.

Linear Regression80%

Линейная регрессия · Классическое машинное обучение

Предсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.

Loss functions80%

Функции потерь · Глубокое обучение

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.

Кому эта тема нужна

Спрашивают на собеседовании: Ozon — Спрос и логистика, Wildberries — Спрос, цены и акции, Совкомбанк — Продуктовая аналитика и эксперименты, X5 Tech — Спрос и пополнение, Магнит — Ассортимент и спрос, Самокат — Спрос и ассортимент даркстора, Самокат — Логистика и сроки доставки, Dodo Brands — Прогноз заказов и планирование смен, Спортмастер — Закупка и ассортимент, Циан — Оценка недвижимости, Авиасейлс — Прогноз цен и подсказки, Selectel — Мощности и надёжность, Газпром нефть — Переработка и оптимизация.

Добавить в учебную программу
Следующий шагДальше по связи: MSEСреднее квадратов ошибок: сильно штрафует большие отклонения.Перейти →
← MCCMSE →

Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.