Площадь под кривой –; честнее при редком положительном классе.
Ключевые тезисы
- Базовый уровень равен доле положительного класса, а не 0.5.
- Фокусируется именно на качестве по положительному классу.
- Стандарт в поиске фрода, и редких событий.
Какую задачу решает
оценивает качество по кривой «точность — », то есть смотрит только на положительный класс. Истинно отрицательные в расчёт не входят вовсе, и именно поэтому метрика не разбавляется миллионами лёгких отрицательных примеров.
Практическое следствие: при сильном дисбалансе показывает то, что реально чувствует пользователь модели — сколько из её срабатываний оправданы. здесь не 0.5, как у , а доля положительного класса: при 1% положительных случайная модель даёт PR-AUC 0.01, и результат 0.35 означает улучшение в 35 раз.
« 0.35» само по себе не значит ничего: при доле положительных 40% это плохо, при доле 1% — превосходно. Правильная формулировка: «PR-AUC 0.35 при базовой линии 0.012, то есть в 29 раз лучше случайного». Ещё полезнее приложить одну рабочую точку: «при пороге, дающем 70%, составляет 22% — на каждые 100 срабатываний 22 настоящих, обработка займёт около 450 проверок в день».
Подробный разбор
PR-кривая строится в координатах –. Её базовый уровень равен доле положительного класса: при 1% положительных случайная модель даёт ≈ 0.01, тогда как у неё 0.5.
| Учитывает TN | да | нет |
| База случайной модели | 0.5 | доля класса 1 |
| Чувствительность к дисбалансу | низкая (оптимистична) | высокая (честная) |
| Когда выбирать | сбалансированные классы | редкий положительный класс |
Практическое правило: если положительных объектов меньше 5–10%, сравнивайте модели по , а оставьте как вспомогательное число.
- размер топа выдачи (K) или номер позиции
- суммирование по всем перечисленным элементам
average_precision_scoreЛинейная интерполяция PR-кривой (в отличие от ROC) даёт смещённую оценку — поэтому используйте AP, а не auc(recall, precision). Разница на несбалансированных данных бывает заметной.
Где применяется
- Антифрод и Доли процента положительных: единственная метрика, показывающая правду.
- Поиск и рекомендацииРелевантных документов мало относительно всей базы.
- Медицинский скрининг редких заболеванийРаспространённость в популяции мала, вводит в заблуждение.
- — прямое обобщение average на задачу .
Плюсы, минусы и альтернативы
Плюсы
- Честно отражает качество при сильном дисбалансе.
- Показывает то, что важно пользователю: долю оправданных срабатываний.
- Не зависит от порога.
- Кривая напрямую помогает выбрать рабочую точку.
Минусы
- Значения несравнимы между выборками с разной долей положительных.
- Базовую линию нужно указывать отдельно, иначе число ни о чём не говорит.
- Нестабильна при малом числе положительных примеров.
- Игнорирует истинно отрицательные — не отражает поведение на большом классе.
Брать, если
- Доля положительного класса ниже 5–10%.
- Важна точность срабатываний, а не поведение на отрицательных.
Не брать, если
- Классы сбалансированы — привычнее и не хуже.
- Нужно сравнить результаты на выборках с разной долей классов.
Чем заменяют
Связанные темы
Редкие классы и события · Качество классификации
MCC97%
Коэффициент Мэтьюса · МетрикиКорреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.
Accuracy85%
Доля правильных ответов · МетрикиДоля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.
Precision85%
Точность · МетрикиКакая доля объектов, предсказанных положительными, действительно положительна.
Recall85%
Полнота · МетрикиКакая доля реально положительных объектов найдена моделью.
F185%
F1-мера · МетрикиГармоническое среднее точности и полноты — компромисс между ними одним числом.
ROC-AUC85%
ROC-AUC · МетрикиВероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.
Log Loss85%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
Calibration85%
Калибровка · Оценка моделейСоответствие предсказанных вероятностей реальным частотам событий.
Logistic Regression85%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.
Imbalanced Data80%
Дисбаланс классов · ДанныеКогда положительных объектов 1% или меньше: как обучать, чем мерить и что делать с порогом.
Isolation Forest80%
Isolation Forest · Классическое машинное обучениеОбнаружение аномалий случайными разбиениями: аномальный объект отделяется от остальных за меньшее число разрезов.
Anomaly Detection80%
Поиск аномалий · Обучение без учителяВыделение объектов, не похожих на основную массу данных, при отсутствии меток.
Loss functions80%
Функции потерь · Глубокое обучениеФормализуют цель обучения. Выбор потерь важнее выбора архитектуры чаще, чем кажется.
Extreme Value Theory80%
Теория экстремальных значений · Теория вероятностей и распределенияАппарат для моделирования максимумов и хвостов: как оценить вероятность события, которого ещё не случалось.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
PR-кривая
Точность против при всех порогах. Показывает доступный обмен между ними.
Разбор ниже: PR-AUC против ROC-AUCAverage Precision
Стандартный способ посчитать площадь под PR-кривой без интерполяции.
Разбор ниже: Average Precision и интерполяцияБазовая линия
Доля положительного класса. Без неё значение не интерпретируется.
Разбор ниже: PR-AUC против ROC-AUCЧувствительность к балансу
Значение зависит от доли классов, поэтому сравнивать можно только на одной выборке.
Разбор ниже: Average Precision и интерполяцияУсиливает профиль: Data Scientist, Инженер рекомендаций.
Спрашивают на собеседовании: Яндекс — Classic ML, Сбер — Скоринг и риски, Т-Банк — Антифрод и риски, МТС — Отток и персональные предложения, Альфа-Банк — Скоринг и кредитные риски, Совкомбанк — Скоринг и взыскание, Точка — Антифрод и комплаенс, ЮMoney — Антифрод платежей, Лаборатория Касперского — Детектирование вредоносного ПО, Лаборатория Касперского — Поведенческий анализ и исследования, Positive Technologies — Аналитика событий и приоритизация, BI.ZONE — Антифрод и защита от автоматизации.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.