Brier Score

Среднеквадратичная ошибка предсказанных вероятностей: строгая правильная функция оценки, устойчивее .

B S = \frac{1}{n} i = 1 \sum n (p_{i} - y_{i})^{2}

Что означает каждый компонент

$p_{i}$ предсказанная вероятность положительного класса
$y_{i}$ факт: 0 или 1. В отличие от log loss штраф ограничен единицей

Ключевые тезисы

В отличие от не уходит в бесконечность при уверенной ошибке.
Раскладывается на , различающую способность и неустранимую неопределённость.
Удобна там, где вероятности используются в расчётах ожидаемой прибыли.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

B S = калибровка Reliability - различающая способность Resolution + свойство данных Uncertainty

Полезно тем, что разделяет две разные проблемы: модель может быть плохо (лечится калибровкой) или плохо различать классы (лечится только улучшением модели).

		Brier
Штраф за уверенную ошибку	бесконечный	ограниченный (максимум 1)
Чувствительность к выбросам	высокая	умеренная
Интерпретация	биты информации	среднеквадратичная ошибка вероятности
Когда брать	обучение,	отчётность, сравнение