Метрики

SMAPE

Симметричная MAPE

классикаНесколько несовместимых определений; в соревнованиях заменена на MASE/RMSSE.

Вариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.

Ключевые тезисы

  • Ограничена сверху, что делает её устойчивее.
  • Всё ещё нестабильна вблизи нулевых значений.
  • Существует несколько несовместимых определений — фиксируйте формулу.
Тема также относится к главам:Временные рядыПрикладные задачи

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

1

Симметричная версия

Попытка починить асимметрию MAPE — с оговорками.

Обозначения
  • предсказание модели
  • истинное значение целевой переменной
  • число объектов в выборке
  • суммирование по всем перечисленным элементам
На практике

Определений SMAPE существует несколько (с делением на 2 и без, с ограничением 100% или 200%) — при сравнении с чужими результатами обязательно фиксируйте формулу. Вблизи нуля метрика по-прежнему нестабильна.

2

Когда SMAPE уместна

И чем её обычно заменяют.

  • Подходит, когда значения ряда далеки от нуля и важна относительная ошибка в обе стороны.
  • На рядах с нулями и всплесками нестабильна: знаменатель может обращаться в ноль.
  • В соревнованиях по прогнозированию (M4, M5) от неё отказались в пользу MASE и RMSSE.
На практике

Если метрика нужна для отчёта перед бизнесом, WAPE обычно понятнее: «промахнулись на 8% от объёма» — это фраза, которую не нужно объяснять.

Связанные темы

Прогноз спроса · Качество регрессии

MAPE97%

Средняя абсолютная процентная ошибка · Метрики

Относительная ошибка в процентах — удобна для сравнения рядов разного масштаба.

Hierarchical Forecasting85%

Иерархические прогнозы · Временные ряды

Прогнозы по товару, категории и сети должны согласовываться: сумма частей обязана равняться целому.

Intermittent Demand85%

Прерывистый спрос · Временные ряды

Ряды, где большая часть значений — нули: запчасти, редкие товары, аварийные события. Обычные метрики и модели здесь не работают.

Feature-based forecasting85%

Прогноз через признаки · Временные ряды

Ряд превращается в табличную задачу: лаги, скользящие статистики, календарь — и дальше градиентный бустинг.

Poisson Distribution85%

Распределение Пуассона · Теория вероятностей и распределения

Число редких независимых событий за фиксированный интервал: заказы за час, отказы за сутки, клики за сессию.

MAE80%

Средняя абсолютная ошибка · Метрики

Среднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.

MSE80%

Среднеквадратичная ошибка · Метрики

Среднее квадратов ошибок: сильно штрафует большие отклонения.

RMSE80%

Корень из среднеквадратичной ошибки · Метрики

Корень из MSE — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.

80%

Коэффициент детерминации · Метрики

Доля дисперсии целевой переменной, объяснённая моделью, относительно константного прогноза.

Adjusted R²80%

Скорректированный R² · Метрики

R² со штрафом за число признаков — падает, если новый признак не приносит пользы.

Linear Regression80%

Линейная регрессия · Классическое машинное обучение

Предсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.

Loss functions80%

Функции потерь · Глубокое обучение

Формализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.