Какая доля объектов, предсказанных положительными, действительно положительна.
- верные срабатывания: модель сказала «да», и это правда
- все срабатывания модели, включая ложные тревоги. Precision отвечает: какой доле срабатываний можно верить
Ключевые тезисы
- Отвечает на вопрос «насколько можно доверять срабатыванию модели».
- Критична там, где ложное срабатывание дорого: блокировки, рассылки, модерация.
- Растёт при повышении порога — за счёт падения .
Какую задачу решает
отвечает на вопрос «если модель сказала да, насколько ей можно верить»: это доля правильных срабатываний среди всех срабатываний. Метрика того, кто расплачивается за ложную тревогу.
Она осмысленна только в паре с полнотой: повысить тривиально — достаточно поднять порог и срабатывать лишь на самых очевидных случаях, потеряв большую часть настоящих. Поэтому precision всегда фиксируют вместе с или смотрят на всю PR-кривую.
Модель антифрода с 99% звучит прекрасно — пока не выясняется, что она срабатывает на трёх транзакциях в день из миллиона и пропускает 95% мошенничества. Точность здесь достигнута отказом от работы. Правильная формулировка результата всегда парная: «precision 82% при 70%» — или, ещё лучше, вся PR-кривая, по которой видно, какой обмен между ними доступен и где на ней стоит выбрать рабочую точку.
Подробный разбор
- верные срабатывания: модель сказала «да», и это правда
- ложные срабатывания: модель сказала «да», а это неправда
Из 100 транзакций, которые модель пометила как мошеннические, действительно мошеннических 30 → = 0.3. Семьдесят честных клиентов получили блокировку.
- Важна там, где ложное срабатывание дорого: блокировки, автоматические отказы, рассылки, модерация.
- Растёт при повышении порога — но за счёт падения .
- При очень редком классе низкая может быть неизбежной: см. парадокс редких событий в .
Метрику удобно фиксировать так: «нужно находить не меньше 80% мошеннических операций». Тогда = 0.8 — ограничение, а при этом recall — то, что оптимизируется.
from sklearn.metrics import precision_recall_curve
p, r, thr = precision_recall_curve(y_true, y_score)
i = (r >= 0.8).nonzero()[0][-1] # последний порог, где recall ещё ≥ 0.8
print(f"precision={p[i]:.3f} при recall={r[i]:.3f}, порог={thr[i]:.4f}")Порог, найденный на валидации, нужно проверить на тесте: при малом числе положительных объектов он нестабилен.
Где применяется
- Ручная проверкаМодератор или аналитик разбирает срабатывания: низкая точность означает потраченное впустую время.
- Автоматические действияБлокировка транзакции или аккаунта: ложное срабатывание бьёт по живому пользователю.
- РекомендацииВ коротком блоке из 5 позиций каждая нерелевантная заметна.
- Скрининг перед дорогим шагомОтбор кандидатов на дорогой анализ.
Плюсы, минусы и альтернативы
Плюсы
- Прямо отражает стоимость ложных срабатываний.
- Понятна бизнесу: «сколько из наших действий были оправданы».
- Не зависит от доли отрицательного класса, в отличие от специфичности.
Минусы
- Ничего не говорит о пропущенных случаях.
- Легко накручивается повышением порога.
- Нестабильна при малом числе срабатываний.
- Бессмысленна без указания порога или .
Брать, если
- Ложная тревога стоит дорого.
- Ресурс на обработку срабатываний ограничен.
Не брать, если
- Пропуск опаснее ложной тревоги — тогда главная метрика .
- Метрика приводится одна, без и без порога.
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Прикладные задачи NLP · Качество классификации
F196%
F1-мера · МетрикиГармоническое среднее точности и полноты — компромисс между ними одним числом.
Recall96%
Полнота · МетрикиКакая доля реально положительных объектов найдена моделью.
Accuracy85%
Доля правильных ответов · МетрикиДоля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.
ROC-AUC85%
ROC-AUC · МетрикиВероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.
PR-AUC85%
PR-AUC · МетрикиПлощадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.
Log Loss85%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
MCC85%
Коэффициент Мэтьюса · МетрикиКорреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.
Calibration85%
Калибровка · Оценка моделейСоответствие предсказанных вероятностей реальным частотам событий.
Logistic Regression85%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.
Text classification75%
Классификация текстов · Обработка естественного языкаОтнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.
NER75%
Извлечение именованных сущностей · Обработка естественного языкаРазметка последовательности: находим в тексте имена, организации, даты, суммы.
Sentiment Analysis75%
Анализ тональности · Обработка естественного языкаОпределение эмоциональной окраски текста — от бинарной оценки до аспектной тональности.
BERT75%
BERT · Обработка естественного языкаДвунаправленный энкодер, предобученный на восстановлении замаскированных токенов.
Embeddings75%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Формула
— доля верных срабатываний среди всех положительных предсказаний.
Разбор ниже: Смысл и когда важнаЦена ложной тревоги
важна там, где каждое срабатывание чего-то стоит: проверка, звонок, блокировка.
Разбор ниже: Смысл и когда важнаPrecision при фиксированной полноте
Честный способ сравнивать модели: «какая точность при 80%».
Разбор ниже: Precision при фиксированной полнотеЗависимость от порога
Меняя порог, можно довести почти до единицы — ценой .
Разбор ниже: Precision при фиксированной полнотеПрофильная компетенция для ролей: Data Scientist, ML Engineer, Аналитик данных, NLP-инженер, CV-инженер, Инженер рекомендаций, Инженер речи.
Усиливает профиль: Продуктовый инженер.
Спрашивают на собеседовании: Т-Банк — Антифрод и риски, Авито — Модерация контента, VK — Зрение и модерация контента, Совкомбанк — Скоринг и взыскание, Точка — Антифрод и комплаенс, ЮMoney — Антифрод платежей, Dodo Brands — Зрение на кухне, 2ГИС — Зрение и данные о городе, МегаФон — Сеть и геоаналитика, Лаборатория Касперского — Детектирование вредоносного ПО, Positive Technologies — Аналитика событий и приоритизация, BI.ZONE — Антифрод и защита от автоматизации, 1С — Документы и распознавание, СКБ Контур — Документы и распознавание, Selectel — Мощности и надёжность, СИБУР — Предиктивное обслуживание.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.