Соответствие предсказанных вероятностей реальным частотам событий.
Ключевые тезисы
- Проверяется калибровочной кривой и метрикой ECE.
- Platt scaling и isotonic regression калибруют уже обученную модель.
- и обычно переуверены в своих предсказаниях.
Какую задачу решает
Модель может отлично ранжировать и при этом врать в вероятностях: если среди объектов, которым она дала 0.8, положительными оказываются 50%, число «0.8» использовать в расчётах нельзя. — это соответствие предсказанных вероятностей наблюдаемым частотам.
Важно это ровно тогда, когда вероятность идёт дальше в формулу: ожидаемая прибыль, страховой резерв, порог по цене ошибок, приоритет в . Если решение принимается по фиксированному порогу и ничего кроме порядка не нужно, неважна — и наоборот, про неё не говорит вообще ничего, потому что не меняется при любом монотонном преобразовании оценок.
Разбейте предсказания на 10 бинов по вероятности и для каждого посчитайте среднюю предсказанную вероятность и фактическую долю положительных. Постройте одно против другого. Точки на диагонали — в порядке. Кривая ниже диагонали — модель переоценивает риск, выше — недооценивает. Классический вид после обучения на сбалансированной выборке при реальной доле положительных в 2% — сильное завышение по всей шкале: модель говорит «60%», а фактическая частота 4%.
Подробный разбор
Модель может отлично ранжировать (высокий ) и при этом выдавать бессмысленные числа: например, все оценки лежат в диапазоне 0.4–0.6. Для порогового решения это неважно, а для расчёта ожидаемой прибыли — критично.
- истинное значение целевой переменной
- число объектов в выборке
- вероятность (или плотность распределения)
- суммирование по всем перечисленным элементам
| Метод | Модель | Когда применять |
|---|---|---|
| Platt scaling | над скором | мало данных, монотонное искажение |
| Isotonic | кусочно-постоянная монотонная функция | много данных, произвольное искажение |
- Калибруют на отдельной выборке, не на обучающей.
- и обычно переуверены; — недоуверен; чаще всего уже .
- После
class_weight="balanced"или передискретизации ломается — восстанавливайте её явно.
Где применяется
- Расчёт ожидаемой величиныОжидаемая прибыль, потери, резерв — всё это умножение вероятности на сумму.
- Выбор порога по стоимостиПорог, посчитанный по стоимостей, корректен только при честных вероятностях.
- Объединение моделейСкладывать вероятности разных моделей можно только после .
- Медицина и риск«Вероятность осложнения 15%» должна означать именно 15%.
Плюсы, минусы и альтернативы
Плюсы
- Дёшево: калибратор обучается за секунды поверх готовой модели.
- Не меняет ранжирование — остаётся прежним.
- Делает вероятности пригодными для расчётов и коммуникации.
- Часто заметно улучшает и Brier score без модели.
Минусы
- Требует отдельной выборки: на обучающих данных нельзя.
- Isotonic легко переобучается на малых выборках.
- Не улучшает качество ранжирования — плохую модель не спасёт.
- «стареет» вместе со сдвигом данных и требует пересчёта.
Брать, если
- Вероятности используются в расчётах или показываются людям.
- Модель обучалась на ресэмплированных данных.
- высок при хорошем — верный проблемы.
Не брать, если
- Нужен только порядок объектов — ранжирование не меняет.
- Нет отдельной выборки для настройки калибратора.
Чем заменяют
Видеолекции
Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.
Связанные темы
Качество вероятностей · Качество классификации
Log Loss98%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
Logistic Regression98%
Логистическая регрессия · Классическое машинное обучениеЛинейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.
Brier Score85%
Brier Score · МетрикиСреднеквадратичная ошибка предсказанных вероятностей: строгая правильная функция оценки, устойчивее log loss.
Perplexity85%
Перплексия · МетрикиЭкспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.
Accuracy85%
Доля правильных ответов · МетрикиДоля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.
Precision85%
Точность · МетрикиКакая доля объектов, предсказанных положительными, действительно положительна.
Recall85%
Полнота · МетрикиКакая доля реально положительных объектов найдена моделью.
F185%
F1-мера · МетрикиГармоническое среднее точности и полноты — компромисс между ними одним числом.
ROC-AUC85%
ROC-AUC · МетрикиВероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.
PR-AUC85%
PR-AUC · МетрикиПлощадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.
MCC85%
Коэффициент Мэтьюса · МетрикиКорреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Кривая калибровки
Предсказанная вероятность против наблюдаемой частоты по бинам. Идеал — диагональ.
Разбор ниже: Что такое калиброванные вероятностиPlatt scaling
поверх выходов модели. Работает на малых выборках, предполагает сигмоидальную форму искажения.
Разбор ниже: Как калиброватьIsotonic regression
Монотонная непараметрическая подгонка: гибче Platt, но требует больше данных.
Разбор ниже: Как калиброватьИсточники искажения
Ресэмплинг при дисбалансе, с большим числом итераций, — типичные причины плохой .
Разбор ниже: Что такое калиброванные вероятностиПрофильная компетенция для ролей: Data Scientist, ML Engineer, Исследователь.
Усиливает профиль: MLOps-инженер, NLP-инженер, CV-инженер.
Спрашивают на собеседовании: Яндекс — Classic ML, Сбер — Скоринг и риски, Т-Банк — Антифрод и риски, Авито — Модерация контента, VK — Зрение и модерация контента, МТС — Отток и персональные предложения, Альфа-Банк — Скоринг и кредитные риски, ВТБ — Риск-модели, Совкомбанк — Скоринг и взыскание, Точка — Антифрод и комплаенс, ЮMoney — Антифрод платежей, Циан — Поиск, ранжирование и достоверность, Авиасейлс — Прогноз цен и подсказки, МегаФон — Отток и предложения, Ростелеком — Качество сети и отток, Лаборатория Касперского — Детектирование вредоносного ПО, Positive Technologies — Аналитика событий и приоритизация, BI.ZONE — Антифрод и защита от автоматизации, Selectel — Мощности и надёжность, Газпром нефть — Переработка и оптимизация, СИБУР — Предиктивное обслуживание, СИБУР — Качество и режимы производства, Росатом — Промышленный ИИ.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Разбор архитектуры, где эта тема — один из кирпичей: требования, развилки, цифры и режимы отказа.
Глава «Оценка моделей» последний раз правилась . Нашли ошибку — напишите.