MAPE — Средняя абсолютная процентная ошибка

Относительная ошибка в процентах — удобна для сравнения рядов разного масштаба.

Ключевые тезисы

Не определена при нулевых значениях цели.
Асимметрична: сильнее штрафует завышение прогноза.
Популярна в прогнозе спроса и продаж.

Тема также относится к главам:Временные рядыПрикладные задачи

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Ловушки процентной ошибки

Удобна для отчётов, коварна в вычислениях.

MAPE = \frac{100%}{n} i = 1 \sum n \frac{y _{i} - y ^ _{i}}{y _{i}}

Обозначения

$y^$ предсказание модели
$y$ истинное значение целевой переменной
$n$ число объектов в выборке
$\sum$ суммирование по всем перечисленным элементам

Не определена при $y_{i} = 0$ и взрывается при малых $y_{i}$ .
Асимметрична: занижение прогноза ограничено 100%, завышение — нет. Модель, оптимизирующая MAPE, систематически занижает прогноз.
Для рядов с нулями и близкими к нулю значениями используйте WAPE или MASE.

WAPE = \frac{\sum _{i} ∣ y _{i} - y ^ _{i} ∣}{\sum _{i} ∣ y _{i} ∣}

Обозначения

$y^$ предсказание модели
$y$ истинное значение целевой переменной
$\sum$ суммирование по всем перечисленным элементам

Взвешенная версия: устойчивее и суммируется по товарам и складам

Чем заменить MAPE

Метрики, устойчивые к нулям и малым значениям.

Метрика	Формула	Свойство
WAPE	$\sum ∣ e_{i} ∣/ \sum ∣ y_{i} ∣$	агрегируется по товарам и складам
MASE	MAE / MAE наивного	сравнима между рядами
RMSSE	корень из MSE / MSE наивного	используется в соревнованиях M5

На практике

В ритейле обычно берут WAPE: она интерпретируется как «сколько процентов от общего объёма мы промахнули» и не взрывается на редких товарах.

Связанные темы

Прогноз спроса · Тяжёлые хвосты и риск · Качество регрессии

SMAPE97%

Симметричная MAPE · Метрики

Вариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.

Hierarchical Forecasting85%

Иерархические прогнозы · Временные ряды

Прогнозы по товару, категории и сети должны согласовываться: сумма частей обязана равняться целому.

Intermittent Demand85%

Прерывистый спрос · Временные ряды

Ряды, где большая часть значений — нули: запчасти, редкие товары, аварийные события. Обычные метрики и модели здесь не работают.

Feature-based forecasting85%

Прогноз через признаки · Временные ряды

Ряд превращается в табличную задачу: лаги, скользящие статистики, календарь — и дальше градиентный бустинг.

Poisson Distribution85%

Распределение Пуассона · Теория вероятностей и распределения

Число редких независимых событий за фиксированный интервал: заказы за час, отказы за сутки, клики за сессию.

MAE80%

Средняя абсолютная ошибка · Метрики

Среднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.

MSE80%

Среднеквадратичная ошибка · Метрики

Среднее квадратов ошибок: сильно штрафует большие отклонения.

RMSE80%

Корень из среднеквадратичной ошибки · Метрики

Корень из MSE — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.

R²80%

Коэффициент детерминации · Метрики

Доля дисперсии целевой переменной, объяснённая моделью, относительно константного прогноза.

Adjusted R²80%

Скорректированный R² · Метрики

R² со штрафом за число признаков — падает, если новый признак не приносит пользы.

Linear Regression80%

Линейная регрессия · Классическое машинное обучение

Предсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.

Loss functions80%

Функции потерь · Глубокое обучение

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.

Power Law75%

Степенное распределение · Теория вероятностей и распределения

Плотность убывает как степень: редкие события встречаются намного чаще, чем предсказывает нормальный закон. Распределения Парето и Ципфа — его классические формы.

Heavy Tails75%

Тяжёлые хвосты · Теория вероятностей и распределения

Распределения, у которых экстремальные значения не являются пренебрежимо редкими. Именно они ломают привычные оценки и метрики.

Extreme Value Theory75%

Теория экстремальных значений · Теория вероятностей и распределения

Аппарат для моделирования максимумов и хвостов: как оценить вероятность события, которого ещё не случалось.

Log-normal Distribution75%

Логнормальное распределение · Теория вероятностей и распределения

Величина, логарифм которой нормален. Возникает там, где эффекты перемножаются, а не складываются.

Complex Systems75%

Сложные системы · Динамические системы и фракталы

Системы из множества взаимодействующих элементов, где коллективное поведение не сводится к сумме частей.

Self-similarity75%

Самоподобие · Динамические системы и фракталы

Свойство структуры повторять себя на разных масштабах — точно или статистически.

Scale-free Networks75%

Безмасштабные сети · Графы и сети

Сети, в которых распределение степеней вершин подчиняется степенному закону: немного «хабов» и очень много слабо связанных вершин.

Outliers75%

Выбросы · Данные

Наблюдения, резко отличающиеся от остальных. Они бывают ошибками измерения, а бывают самым ценным сигналом.