PR-AUC

Площадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.

Ключевые тезисы

Базовый уровень равен доле положительного класса, а не 0.5.
Фокусируется именно на качестве по положительному классу.
Стандарт в поиске фрода, аномалий и редких событий.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

PR-AUC против ROC-AUC

Почему на редких классах их выводы расходятся.

PR-кривая строится в координатах recall–precision. Её базовый уровень равен доле положительного класса: при 1% положительных случайная модель даёт PR-AUC ≈ 0.01, тогда как ROC-AUC у неё 0.5.

	ROC-AUC	PR-AUC
Учитывает TN	да	нет
База случайной модели	0.5	доля класса 1
Чувствительность к дисбалансу	низкая (оптимистична)	высокая (честная)
Когда выбирать	сбалансированные классы	редкий положительный класс

На практике

Практическое правило: если положительных объектов меньше 5–10%, сравнивайте модели по PR-AUC, а ROC-AUC оставьте как вспомогательное число.

Average Precision и интерполяция

Как правильно считать площадь под PR-кривой.

AP = k \sum (R_{k} - R_{k - 1}) P_{k}

Обозначения

$k$ размер топа выдачи (K) или номер позиции
$\sum$ суммирование по всем перечисленным элементам

Ступенчатая сумма — так считает average_precision_score

На практике

Линейная интерполяция PR-кривой (в отличие от ROC) даёт смещённую оценку — поэтому используйте AP, а не auc(recall, precision). Разница на несбалансированных данных бывает заметной.

Связанные темы

Редкие классы и события · Качество классификации

Ключевые тезисы

Подробный разбор

PR-AUC против ROC-AUC

Average Precision и интерполяция

Связанные темы

MCC97%

Accuracy85%

Precision85%

Recall85%

F185%

ROC-AUC85%

Log Loss85%

Calibration85%

Logistic Regression85%

Imbalanced Data80%

Isolation Forest80%

Anomaly Detection80%

Loss functions80%

Extreme Value Theory80%