КабинетПоиск
Метрики

MAPE

Средняя абсолютная процентная ошибка

классикаВытесняется WAPE и MASE из-за нестабильности у нуля.

Направления: Машинное обучение · Оценка моделей

Относительная ошибка в процентах — удобна для сравнения рядов разного масштаба.

Ключевые тезисы

  • Не определена при нулевых значениях цели.
  • Асимметрична: сильнее штрафует завышение прогноза.
  • Популярна в прогнозе спроса и продаж.

Какую задачу решает

выражает ошибку в процентах от фактического значения, и это делает её удобной для сравнения прогнозов по товарам, регионам и периодам разного масштаба: 5% ошибки одинаково читаются и на продажах в тысячу штук, и на продажах в миллион.

Удобство оплачивается серьёзными дефектами. При фактическом значении, близком к нулю, ошибка взлетает до сотен процентов; при нулевом — метрика не определена вовсе. Кроме того, несимметрична: занижение прогноза наказывается мягче завышения, и оптимизирующая её модель систематически недооценивает спрос.

Как MAPE вводит в заблуждение

Товар A: факт 1000, прогноз 900 — ошибка 10%. Товар B: факт 2, прогноз 4 — ошибка 100%. Средний 55%, и отчёт показывает провал, хотя в штуках модель промахнулась на 100 и на 2 соответственно. Для номенклатуры с редкими товарами разумнее WAPE (сумма абсолютных ошибок, делённая на сумму фактов) — там вклад товара пропорционален его объёму, и метрика перестаёт определяться хвостом мелочи.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • предсказание модели
  • истинное значение целевой переменной
  • число объектов в выборке
  • суммирование по всем перечисленным элементам
  • Не определена при и взрывается при малых .
  • Асимметрична: занижение прогноза ограничено 100%, завышение — нет. Модель, оптимизирующая , систематически занижает прогноз.
  • Для рядов с нулями и близкими к нулю значениями используйте WAPE или MASE.
Обозначения
  • предсказание модели
  • истинное значение целевой переменной
  • суммирование по всем перечисленным элементам
Взвешенная версия: устойчивее и суммируется по товарам и складам

МетрикаФормулаСвойство
WAPEагрегируется по товарам и складам
MASE / MAE наивногосравнима между рядами
RMSSEкорень из / MSE наивногоиспользуется в соревнованиях M5
На практике

В ритейле обычно берут WAPE: она интерпретируется как «сколько процентов от общего объёма мы промахнули» и не взрывается на редких товарах.

Где применяется

  • Прогноз спросаОтраслевой стандарт: понятен коммерческим командам и позволяет сравнивать товары.
  • Сравнение рядов разного масштабаОдин KPI для всей номенклатуры.
  • Отчётность и «Точность прогноза 92%» — привычная формулировка в планировании.

Плюсы, минусы и альтернативы

Плюсы

  • Безразмерна и сравнима между рядами.
  • Понятна без объяснений: проценты все читают одинаково.
  • Привычна в планировании и логистике.

Минусы

  • Не определена при нулевых фактических значениях.
  • Взрывается на малых значениях: ошибка 1 при факте 2 даёт 50%.
  • Несимметрична и систематически поощряет занижение прогноза.
  • Среднее по товарам перекошено теми, у кого продажи малы.

Брать, если

  • Фактические значения заметно больше нуля и без длинных нулевых периодов.
  • Нужна метрика, понятная бизнес-заказчику.

Не брать, если

  • В ряду есть нули или прерывистый спрос — берите MASE или WAPE.
  • Метрика используется как цель обучения: асимметрия внесёт смещение.

Чем заменяют

SMAPEклассикаСимметричная MAPE · МетрикиНужна симметричная относительная метрика.MAEактуальноСредняя абсолютная ошибка · МетрикиРяды сопоставимы по масштабу и относительность не нужна.Intermittent DemandактуальноПрерывистый спрос · Временные рядыСпрос прерывистый: там и метрики, и модели другие.
Тема также относится к главам:Временные рядыПрикладные задачи

Связанные темы

Прогноз спроса · Тяжёлые хвосты и риск · Качество регрессии

SMAPE97%

Симметричная MAPE · Метрики

Вариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.

Hierarchical Forecasting85%

Иерархические прогнозы · Временные ряды

Прогнозы по товару, категории и сети должны согласовываться: сумма частей обязана равняться целому.

Intermittent Demand85%

Прерывистый спрос · Временные ряды

Ряды, где большая часть значений — нули: запчасти, редкие товары, аварийные события. Обычные метрики и модели здесь не работают.

Feature-based forecasting85%

Прогноз через признаки · Временные ряды

Ряд превращается в табличную задачу: лаги, скользящие статистики, календарь — и дальше градиентный бустинг.

Poisson Distribution85%

Распределение Пуассона · Теория вероятностей и распределения

Число редких независимых событий за фиксированный интервал: заказы за час, отказы за сутки, клики за сессию.

MAE80%

Средняя абсолютная ошибка · Метрики

Среднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.

MSE80%

Среднеквадратичная ошибка · Метрики

Среднее квадратов ошибок: сильно штрафует большие отклонения.

RMSE80%

Корень из среднеквадратичной ошибки · Метрики

Корень из MSE — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.

R²80%

Коэффициент детерминации · Метрики

Доля дисперсии целевой переменной, объяснённая моделью, относительно константного прогноза.

Adjusted R²80%

Скорректированный R² · Метрики

R² со штрафом за число признаков — падает, если новый признак не приносит пользы.

Linear Regression80%

Линейная регрессия · Классическое машинное обучение

Предсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.

Loss functions80%

Функции потерь · Глубокое обучение

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.

Power Law75%

Степенное распределение · Теория вероятностей и распределения

Плотность убывает как степень: редкие события встречаются намного чаще, чем предсказывает нормальный закон. Распределения Парето и Ципфа — его классические формы.

Heavy Tails75%

Тяжёлые хвосты · Теория вероятностей и распределения

Распределения, у которых экстремальные значения не являются пренебрежимо редкими. Именно они ломают привычные оценки и метрики.

Extreme Value Theory75%

Теория экстремальных значений · Теория вероятностей и распределения

Аппарат для моделирования максимумов и хвостов: как оценить вероятность события, которого ещё не случалось.

Log-normal Distribution75%

Логнормальное распределение · Теория вероятностей и распределения

Величина, логарифм которой нормален. Возникает там, где эффекты перемножаются, а не складываются.

Complex Systems75%

Сложные системы · Динамические системы и фракталы

Системы из множества взаимодействующих элементов, где коллективное поведение не сводится к сумме частей.

Self-similarity75%

Самоподобие · Динамические системы и фракталы

Свойство структуры повторять себя на разных масштабах — точно или статистически.

Scale-free Networks75%

Безмасштабные сети · Графы и сети

Сети, в которых распределение степеней вершин подчиняется степенному закону: немного «хабов» и очень много слабо связанных вершин.

Outliers75%

Выбросы · Данные

Наблюдения, резко отличающиеся от остальных. Они бывают ошибками измерения, а бывают самым ценным сигналом.

Кому эта тема нужна

Спрашивают на собеседовании: Ozon — Спрос и логистика, X5 Tech — Спрос и пополнение, Циан — Оценка недвижимости.

Добавить в учебную программу
Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Временные ряды24
Следующий шагПроверить себя: Временные рядыТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →
← RMSESMAPE →

Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.