Brier Score

Среднеквадратичная ошибка предсказанных вероятностей: строгая правильная функция оценки, устойчивее log loss.

B S = \frac{1}{n} i = 1 \sum n (p_{i} - y_{i})^{2}

Что означает каждый компонент

$p_{i}$ предсказанная вероятность положительного класса
$y_{i}$ факт: 0 или 1. В отличие от log loss штраф ограничен единицей

Ключевые тезисы

В отличие от log loss не уходит в бесконечность при уверенной ошибке.
Раскладывается на калибровку, различающую способность и неустранимую неопределённость.
Удобна там, где вероятности используются в расчётах ожидаемой прибыли.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Разложение Мёрфи

Из чего складывается ошибка вероятностного прогноза.

B S = калибровка Reliability - различающая способность Resolution + свойство данных Uncertainty

Полезно тем, что разделяет две разные проблемы: модель может быть плохо калибрована (лечится калибровкой) или плохо различать классы (лечится только улучшением модели).

Brier против log loss

Что выбрать.

	Log loss	Brier
Штраф за уверенную ошибку	бесконечный	ограниченный (максимум 1)
Чувствительность к выбросам	высокая	умеренная
Интерпретация	биты информации	среднеквадратичная ошибка вероятности
Когда брать	обучение, языковые модели	отчётность, сравнение калибровки

Связанные темы

Качество вероятностей

Ключевые тезисы

Подробный разбор

Разложение Мёрфи

Brier против log loss

Связанные темы

Log Loss85%

Calibration85%

Logistic Regression85%

Perplexity85%