Корень из — возвращает метрику в исходные единицы, сохраняя штраф за большие ошибки.
Ключевые тезисы
- ≥ всегда; их разрыв указывает на наличие крупных промахов.
- Самая частая метрика в регрессионных соревнованиях.
- Соответствует предположению о нормальном шуме.
Какую задачу решает
— корень из среднего квадрата ошибки. Квадрат означает, что промах в 10 единиц весит в сто раз больше, чем промах в единицу, а корень возвращает результат в исходные единицы измерения, чтобы число можно было прочитать.
Метрика уместна ровно там, где цена ошибки растёт быстрее её величины: нехватка мощности, срыв срока, превышение допуска. Обратная сторона — чувствительность к выбросам: один аномальный объект способен определить всю оценку, и тогда говорит больше о качестве данных, чем о качестве модели.
всегда не меньше , и их отношение показывает разброс ошибок. Отношение около 1.0–1.2 — ошибки однородны, модель промахивается примерно одинаково везде. Отношение 3 и выше — есть небольшая группа объектов с огромными ошибками, и работать надо именно с ней: посмотрите на 20 худших предсказаний, почти наверняка они образуют понятный сегмент (новые товары, редкий регион, праздничные дни). Это одна из самых дешёвых диагностик в регрессии.
Подробный разбор
- предсказание модели
- истинное значение целевой переменной
- число объектов в выборке
- суммирование по всем перечисленным элементам
Равенство достигается только если все ошибки одинаковы по модулю. Большой разрыв означает, что есть небольшое число крупных промахов — стоит посмотреть на них отдельно в анализе ошибок.
= 5, = 25 → почти вся ошибка сосредоточена в нескольких объектах. Это повод для сегментного анализа, а не для перебора .
- Наивный прогноз: среднее (для таблиц) или последнее значение (для рядов).
- Разброс цели: , равный стандартному отклонению , означает нулевую полезность модели.
- Историческая ошибка процесса: если люди ошибаются на 15%, модель с 12% уже ценна.
Где применяется
- Крупные ошибки критичныПрогноз нагрузки, запасов, мощности: недооценка пика дороже череды мелких промахов.
- Обучение регрессии — стандартная , — её читаемая версия.
- Соревнования и бенчмаркиОбщепринятая метрика, результаты сравнимы между работами.
- Диагностика Большой разрыв между и прямо указывает на несколько крупных промахов.
Плюсы, минусы и альтернативы
Плюсы
- В единицах целевой переменной — читается напрямую.
- Сильно наказывает крупные промахи.
- Гладкая и дифференцируемая — удобна для оптимизации.
- Общепринята, есть с чем сравнивать.
Минусы
- Крайне чувствительна к выбросам.
- Одно аномальное наблюдение может определить всю метрику.
- Несравнима между задачами разного масштаба.
- Тянет прогноз к среднему, что плохо на скошенных распределениях.
Брать, если
- Крупные ошибки дороже пропорционально их величине.
- Данные очищены от .
- Нужна метрика, совпадающая с функцией потерь обучения.
Не брать, если
- В данных есть неустранимые .
- Цена ошибки линейна — честнее.
- Целевая переменная сильно скошена — сначала логарифмируйте.
Чем заменяют
Связанные темы
Качество регрессии
MAE80%
Средняя абсолютная ошибка · МетрикиСреднее абсолютных отклонений — метрика в единицах целевой переменной, устойчивая к выбросам.
MSE80%
Среднеквадратичная ошибка · МетрикиСреднее квадратов ошибок: сильно штрафует большие отклонения.
MAPE80%
Средняя абсолютная процентная ошибка · МетрикиОтносительная ошибка в процентах — удобна для сравнения рядов разного масштаба.
SMAPE80%
Симметричная MAPE · МетрикиВариант MAPE с нормировкой на сумму факта и прогноза — частично лечит асимметрию.
R²80%
Коэффициент детерминации · МетрикиДоля дисперсии целевой переменной, объяснённая моделью, относительно константного прогноза.
Adjusted R²80%
Скорректированный R² · МетрикиR² со штрафом за число признаков — падает, если новый признак не приносит пользы.
Linear Regression80%
Линейная регрессия · Классическое машинное обучениеПредсказывает число как взвешенную сумму признаков. Самый интерпретируемый бейзлайн и основа для более сложных моделей.
Loss functions80%
Функции потерь · Глубокое обучениеФормализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Квадратичный штраф
Крупные ошибки получают непропорционально большой вес.
Разбор ниже: RMSE против MAEОптимум — среднее
Минимум достигается на среднем значении, поэтому MSE-обучение тянет прогноз к среднему.
Разбор ниже: RMSE против MAEБазовая линия
предсказания средним — минимальный ориентир, который модель обязана побить.
Разбор ниже: С чем сравнивать RMSEПрофильная компетенция для ролей: Data Scientist, ML Engineer, Аналитик данных, NLP-инженер, CV-инженер, Инженер рекомендаций, Инженер речи.
Усиливает профиль: Продуктовый инженер.
Спрашивают на собеседовании: Wildberries — Спрос, цены и акции, X5 Tech — Цены и промо, Самокат — Логистика и сроки доставки, Dodo Brands — Прогноз заказов и планирование смен, Спортмастер — Закупка и ассортимент, Авиасейлс — Прогноз цен и подсказки, Газпром нефть — Переработка и оптимизация, СИБУР — Качество и режимы производства, Северсталь — Оптимизация производства.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.