Какая доля реально положительных объектов найдена моделью.
- найденные положительные объекты
- все реально положительные объекты, включая пропущенные. Recall отвечает: какую долю мы нашли
Ключевые тезисы
- Главная метрика там, где дорог пропуск: медицина, фрод, безопасность.
- 100% достигается тривиально — предсказать всем положительный класс.
- Всегда смотрится в паре с .
Какую задачу решает
отвечает на зеркальный вопрос: какую долю настоящих положительных случаев модель нашла. Это метрика того, кто расплачивается за пропуск — пропущенную болезнь, невыявленное мошенничество, несработавшую диагностику.
Как и точность, накручивается тривиально: срабатывайте на всём подряд, и recall станет равным единице. Смысл появляется только в паре с — и в понимании того, во сколько раз пропуск дороже ложной тревоги. Именно это отношение и задаёт правильный порог.
Пропущенное мошенничество стоит 10 000, лишняя проверка — 100. Блокировать выгодно, когда ожидаемая потеря от пропуска превышает стоимость проверки: , то есть при . Порог 0.01 вместо привычного 0.5 обычно поднимает в разы при приемлемом росте числа проверок. Это и есть правильный способ выбирать порог: не по «красивой» точке на кривой, а по стоимостей вашей задачи.
Подробный разбор
- верные срабатывания: модель сказала «да», и это правда
- пропуски: модель сказала «нет», а объект был положительным
Из 50 больных тест выявил 45 → = 0.9. Пятеро ушли домой с болезнью — в медицине это обычно дороже, чем лишняя проверка здорового.
= 1 достигается тривиально: пометить всё как положительное. Поэтому его всегда смотрят в паре с или фиксируют одну метрику и максимизируют другую («recall не ниже 0.9 при максимальной precision»).
- ложные срабатывания: модель сказала «да», а это неправда
- пропуски: модель сказала «нет», а объект был положительным
- параметр SVM: цена нарушения зазора
Ложная блокировка стоит 200 ₽ (поддержка и раздражение клиента), пропущенный фрод — 5 000 ₽. Оптимальный порог: — то есть блокировать при вероятности выше 4%, а не 50%.
Где применяется
- Медицинский скринингПропущенное заболевание несопоставимо дороже лишнего обследования.
- БезопасностьПропущенная угроза или утечка — недопустимый исход.
- Первичный отбор кандидатовЭтап поиска в двухступенчатой системе: главное — не потерять нужное, точность добавит второй этап.
- Юридический и патентный поискПропущенный документ может стоить дела.
Плюсы, минусы и альтернативы
Плюсы
- Прямо отражает стоимость пропусков.
- Не зависит от числа отрицательных примеров — устойчива к дисбалансу.
- Понятна: «нашли столько-то процентов из всех».
Минусы
- Ничего не говорит о числе ложных срабатываний.
- Тривиально доводится до 100% отказом от отбора.
- Требует полной разметки положительных — иначе знаменатель неизвестен.
Брать, если
- Пропуск дороже ложной тревоги.
- Модель — первый этап каскада, за которым идёт уточнение.
Не брать, если
- Ресурс на обработку срабатываний ограничен — там правит .
- Полная разметка положительных недоступна.
Чем заменяют
Связанные темы
Прикладные задачи NLP · Качество классификации
F196%
F1-мера · МетрикиГармоническое среднее точности и полноты — компромисс между ними одним числом.
Precision96%
Точность · МетрикиКакая доля объектов, предсказанных положительными, действительно положительна.
Accuracy85%
Доля правильных ответов · МетрикиДоля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.
ROC-AUC85%
ROC-AUC · МетрикиВероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.
PR-AUC85%
PR-AUC · МетрикиПлощадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.
Log Loss85%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
MCC85%
Коэффициент Мэтьюса · МетрикиКорреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.
Calibration85%
Калибровка · Оценка моделейСоответствие предсказанных вероятностей реальным частотам событий.
Logistic Regression85%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.
Text classification75%
Классификация текстов · Обработка естественного языкаОтнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.
NER75%
Извлечение именованных сущностей · Обработка естественного языкаРазметка последовательности: находим в тексте имена, организации, даты, суммы.
Sentiment Analysis75%
Анализ тональности · Обработка естественного языкаОпределение эмоциональной окраски текста — от бинарной оценки до аспектной тональности.
BERT75%
BERT · Обработка естественного языкаДвунаправленный энкодер, предобученный на восстановлении замаскированных токенов.
Embeddings75%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Цена пропуска
главная там, где ненайденный случай приводит к тяжёлым последствиям.
Разбор ниже: Смысл и цена пропускаПорог по стоимости
Оптимальный порог примерно равен отношению цены ложной тревоги к цене пропуска.
Разбор ниже: Порог через стоимость ошибокRecall при фиксированной точности
Обратная формулировка сравнения: «какая при точности 90%».
Разбор ниже: Порог через стоимость ошибокПрофильная компетенция для ролей: Data Scientist, ML Engineer, Аналитик данных, NLP-инженер, CV-инженер, Инженер рекомендаций, Инженер речи.
Усиливает профиль: Продуктовый инженер.
Спрашивают на собеседовании: Т-Банк — Антифрод и риски, Авито — Модерация контента, VK — Зрение и модерация контента, Совкомбанк — Скоринг и взыскание, Точка — Антифрод и комплаенс, МегаФон — Сеть и геоаналитика, Positive Technologies — Аналитика событий и приоритизация, СИБУР — Предиктивное обслуживание, Северсталь — Зрение в контроле качества.
Глава «Метрики» последний раз правилась . Нашли ошибку — напишите.