ROC-AUC — ROC-AUC

Вероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.

Ключевые тезисы

Не зависит от порога — оценивает качество ранжирования.
0.5 — случайное угадывание, 1.0 — идеальное разделение.
На сильно несбалансированных данных выглядит оптимистично.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Как строится ROC-кривая

Перебираем все пороги и рисуем траекторию TPR против FPR.

T P R = \frac{T P}{T P + F N}, F P R = \frac{F P}{F P + T N}

Обозначения

$T P$ верные срабатывания: модель сказала «да», и это правда
$F P$ ложные срабатывания: модель сказала «да», а это неправда
$F N$ пропуски: модель сказала «нет», а объект был положительным
$T N$ верные отказы: модель сказала «нет», и это правда

Отсортировать объекты по убыванию предсказанной вероятности.
Двигать порог сверху вниз, на каждом шаге считая TPR и FPR.
Соединить точки — получится ROC-кривая от (0,0) до (1,1).

ROC-AUC0.983

TPR (recall)0.841

FPR0.023

Разделимость классов2.0Порог0.50

Двигайте разделимость классов: AUC растёт от 0.5 (диагональ) до 1.0 (угол)

Интерпретация и ограничения

Что именно означает число 0.83 и когда ему нельзя верить.

ROC-AUC равен вероятности того, что случайно взятый положительный объект получит более высокий скор, чем случайно взятый отрицательный. Это метрика ранжирования, она не зависит ни от порога, ни от калибровки.

0.5 — случайное угадывание; ниже 0.5 означает, что модель систематически ошибается (инвертируйте её).
Монотонное преобразование вероятностей (например, возведение в куб) не меняет AUC — порядок сохраняется.
При сильном дисбалансе AUC выглядит оптимистично: огромное число TN «размывает» FPR. Здесь честнее PR-AUC.