Calibration — Калибровка

Соответствие предсказанных вероятностей реальным частотам событий.

Ключевые тезисы

Проверяется калибровочной кривой и метрикой ECE.
Platt scaling и isotonic regression калибруют уже обученную модель.
Бустинг и нейросети обычно переуверены в своих предсказаниях.

Тема также относится к главам:МетрикиВероятности и калибровка

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Что такое калиброванные вероятности

Среди объектов с оценкой 0.7 положительными должны быть примерно 70%.

Модель может отлично ранжировать (высокий ROC-AUC) и при этом выдавать бессмысленные числа: например, все оценки лежат в диапазоне 0.4–0.6. Для порогового решения это неважно, а для расчёта ожидаемой прибыли — критично.

ECE = b = 1 \sum B \frac{n _{b}}{n} y_{b} - p_{b}

Обозначения

$y$ истинное значение целевой переменной
$n$ число объектов в выборке
$p$ вероятность (или плотность распределения)
$\sum$ суммирование по всем перечисленным элементам

Expected Calibration Error: средний по корзинам разрыв между предсказанной и фактической частотой

Как калибровать

Platt scaling и изотоническая регрессия.

Метод	Модель	Когда применять
Platt scaling	сигмоида над скором	мало данных, монотонное искажение
Isotonic	кусочно-постоянная монотонная функция	много данных, произвольное искажение

Калибруют на отдельной выборке, не на обучающей.
Бустинг и нейросети обычно переуверены; SVM — недоуверен; логистическая регрессия чаще всего уже калибрована.
После class_weight="balanced" или передискретизации калибровка ломается — восстанавливайте её явно.

ROC-AUC0.983

TPR (recall)0.841

FPR0.023

Разделимость классов2.0Порог0.50

Калибровка не меняет ROC-AUC: монотонное преобразование сохраняет порядок объектов

Связанные темы

Качество вероятностей · Качество классификации

Log Loss98%

Логарифмические потери · Метрики

Оценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.

Logistic Regression98%

Логистическая регрессия · Классическое машинное обучение

Линейная модель классификации: сигмоида переводит линейную комбинацию признаков в вероятность класса.

Brier Score85%

Brier Score · Метрики

Среднеквадратичная ошибка предсказанных вероятностей: строгая правильная функция оценки, устойчивее log loss.

Perplexity85%

Перплексия · Метрики

Экспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.

Accuracy85%

Доля правильных ответов · Метрики

Доля верных предсказаний среди всех. Понятна всем и обманчива при дисбалансе классов.

Precision85%

Точность · Метрики

Какая доля объектов, предсказанных положительными, действительно положительна.

Recall85%

Полнота · Метрики

Какая доля реально положительных объектов найдена моделью.

F185%

F1-мера · Метрики

Гармоническое среднее точности и полноты — компромисс между ними одним числом.

ROC-AUC85%

ROC-AUC · Метрики

Вероятность, что случайный положительный объект получит больший скор, чем случайный отрицательный.

PR-AUC85%

PR-AUC · Метрики

Площадь под кривой precision–recall; честнее ROC-AUC при редком положительном классе.

MCC85%

Коэффициент Мэтьюса · Метрики

Корреляция между предсказаниями и истиной, учитывающая все четыре ячейки матрицы ошибок.