КабинетПоиск
Метрики

ROC-AUC

ROC-AUC

актуальноТекущий рабочий стандарт

Направления: Машинное обучение · Оценка моделей

Вероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.

Ключевые тезисы

  • Не зависит от порога — оценивает качество ранжирования.
  • 0.5 — случайное угадывание, 1.0 — идеальное разделение.
  • На сильно несбалансированных данных выглядит оптимистично.

Какую задачу решает

измеряет способность модели ранжировать: это вероятность того, что случайно взятый положительный объект получит более высокую оценку, чем случайно взятый отрицательный. Метрика не зависит от порога и от того, где именно он будет выбран.

Свойство «не зависит от доли классов» одновременно достоинство и ловушка. Оно позволяет сравнивать модели на выборках с разным балансом, но при сильном дисбалансе даёт обманчиво красивую картину: тысячи ложных срабатываний почти не сдвигают долю FP, если отрицательных объектов миллионы. Именно поэтому при редком положительном классе смотрят .

Как дисбаланс маскирует проблему

Миллион транзакций, из них 1000 мошеннических. Модель ловит 900 из них, но выдаёт 10 000 ложных срабатываний. FPR = — на это почти у левого края, и AUC получится около 0.99. Между тем составляет : аналитик, разбирающий срабатывания, будет прав в одном случае из двенадцати. покажет эту ситуацию честно, — нет.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • верные срабатывания: модель сказала «да», и это правда
  • ложные срабатывания: модель сказала «да», а это неправда
  • пропуски: модель сказала «нет», а объект был положительным
  • верные отказы: модель сказала «нет», и это правда
  1. Отсортировать объекты по убыванию предсказанной вероятности.
  2. Двигать порог сверху вниз, на каждом шаге считая TPR и FPR.
  3. Соединить точки — получится от (0,0) до (1,1).
0.00.51.00.00.51.0FPRTPR
ROC-AUC0.983
TPR (recall)0.841
FPR0.023
Двигайте разделимость классов: AUC растёт от 0.5 (диагональ) до 1.0 (угол)

равен вероятности того, что случайно взятый положительный объект получит более высокий скор, чем случайно взятый отрицательный. Это метрика ранжирования, она не зависит ни от порога, ни от .

  • 0.5 — случайное угадывание; ниже 0.5 означает, что модель систематически ошибается (инвертируйте её).
  • Монотонное преобразование вероятностей (например, возведение в куб) не меняет — порядок сохраняется.
  • При сильном дисбалансе выглядит оптимистично: огромное число TN «размывает» FPR. Здесь честнее .

Где применяется

  • Сравнение моделейПорог ещё не выбран, нужно понять, кто лучше ранжирует.
  • СкорингКредитный и рисковый скоринг: классическая и общепринятая метрика области.
  • Сравнение на разных выборкахНезависимость от баланса позволяет сопоставлять результаты на разных срезах.
  • Ранжирование кандидатовВажен порядок, а не абсолютные значения.

Плюсы, минусы и альтернативы

Плюсы

  • Не зависит от порога — оценивает модель, а не решение.
  • Понятная вероятностная интерпретация.
  • Устойчива к изменению доли классов между выборками.
  • Общепринятая: 0.5 — случайность, 0.7 — приемлемо, 0.8+ — хорошо.

Минусы

  • Даёт завышенно оптимистичную картину при сильном дисбалансе.
  • Усредняет по всем порогам, включая заведомо неиспользуемые.
  • Не отражает : монотонное преобразование оценок её не меняет.
  • Не учитывает разную цену ошибок.

Брать, если

  • Классы примерно сбалансированы или дисбаланс умеренный.
  • Нужно сравнить качество ранжирования до выбора порога.

Не брать, если

  • Положительный класс редок (менее 5%) — берите .
  • Важна работа модели только в узкой зоне высоких оценок.
  • Нужны честные вероятности — про них ничего не говорит.

Чем заменяют

PR-AUCактуальноPR-AUC · МетрикиПоложительный класс редок: PR-кривая покажет реальную картину.Log LossактуальноЛогарифмические потери · МетрикиНужны калиброванные вероятности, а не только порядок.CalibrationактуальноКалибровка · Оценка моделейРанжирование хорошее, а вероятностям верить нельзя.

Связанные темы

Качество классификации

Accuracy85%

Доля правильных ответов · Метрики

Доля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.

Precision85%

Точность · Метрики

Какая доля объектов, предсказанных положительными, действительно положительна.

Recall85%

Полнота · Метрики

Какая доля реально положительных объектов найдена моделью.

F185%

F1-мера · Метрики

Гармоническое среднее точности и полноты — компромисс между ними одним числом.

PR-AUC85%

PR-AUC · Метрики

Площадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.

Log Loss85%

Логарифмические потери · Метрики

Оценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.

MCC85%

Коэффициент Мэтьюса · Метрики

Корреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.

Calibration85%

Калибровка · Оценка моделей

Соответствие предсказанных вероятностей реальным частотам событий.

Logistic Regression85%

Логистическая регрессия · Классическое машинное обучение

Линейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.

Кому эта тема нужна

Профильная компетенция для ролей: Data Scientist, ML Engineer, Аналитик данных, NLP-инженер, CV-инженер, Инженер рекомендаций, Инженер речи.

Усиливает профиль: Продуктовый инженер.

Спрашивают на собеседовании: Яндекс — Classic ML, Сбер — Скоринг и риски, МТС — Отток и персональные предложения, Альфа-Банк — Скоринг и кредитные риски, ВТБ — Риск-модели, Газпромбанк — Корпоративные риски, МегаФон — Отток и предложения, билайн — Маркетинг и удержание, СКБ Контур — Проверка контрагентов, Т1 — Корпоративный ML.

Добавить в учебную программу
Следующий шагДальше по связи: AccuracyДоля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.Перейти →
← F1PR-AUC →

Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.