Какая доля реально положительных объектов найдена моделью.
- найденные положительные объекты
- все реально положительные объекты, включая пропущенные. Recall отвечает: какую долю мы нашли
Ключевые тезисы
- Главная метрика там, где дорог пропуск: медицина, фрод, безопасность.
- Полнота 100% достигается тривиально — предсказать всем положительный класс.
- Всегда смотрится в паре с precision.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Смысл и цена пропуска
Какую долю настоящих случаев модель нашла.
- верные срабатывания: модель сказала «да», и это правда
- пропуски: модель сказала «нет», а объект был положительным
Из 50 больных тест выявил 45 → recall = 0.9. Пятеро ушли домой с болезнью — в медицине это обычно дороже, чем лишняя проверка здорового.
Recall = 1 достигается тривиально: пометить всё как положительное. Поэтому его всегда смотрят в паре с precision или фиксируют одну метрику и максимизируют другую («recall не ниже 0.9 при максимальной precision»).
2Порог через стоимость ошибок
Когда цену FP и FN можно оценить в деньгах.
- ложные срабатывания: модель сказала «да», а это неправда
- пропуски: модель сказала «нет», а объект был положительным
- параметр SVM: цена нарушения зазора
Ложная блокировка стоит 200 ₽ (поддержка и раздражение клиента), пропущенный фрод — 5 000 ₽. Оптимальный порог: — то есть блокировать при вероятности выше 4%, а не 50%.
Связанные темы
Прикладные задачи NLP · Качество классификации
F196%
F1-мера · МетрикиГармоническое среднее точности и полноты — компромисс между ними одним числом.
Precision96%
Точность · МетрикиКакая доля объектов, предсказанных положительными, действительно положительна.
Accuracy85%
Доля правильных ответов · МетрикиДоля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.
ROC-AUC85%
ROC-AUC · МетрикиВероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.
PR-AUC85%
PR-AUC · МетрикиПлощадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.
Log Loss85%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
MCC85%
Коэффициент Мэтьюса · МетрикиКорреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.
Calibration85%
Калибровка · Оценка моделейСоответствие предсказанных вероятностей реальным частотам событий.
Logistic Regression85%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.
Text classification75%
Классификация текстов · Обработка естественного языкаОтнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.
NER75%
Извлечение именованных сущностей · Обработка естественного языкаРазметка последовательности: находим в тексте имена, организации, даты, суммы.
Sentiment Analysis75%
Анализ тональности · Обработка естественного языкаОпределение эмоциональной окраски текста — от бинарной оценки до аспектной тональности.
BERT75%
BERT · Обработка естественного языкаДвунаправленный энкодер, предобученный на восстановлении замаскированных токенов.
Embeddings75%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.