Log Loss

Оценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.

LogLoss = - \frac{1}{n} i = 1 \sum n [y_{i} lo g p_{i} + (1 - y_{i}) lo g (1 - p_{i})]

Что означает каждый компонент

$y lo g p$ работает, когда истинный класс — 1: штраф тем больше, чем меньше предсказанная вероятность
$(1 - y) lo g (1 - p)$ работает, когда истинный класс — 0. Один из двух членов всегда обнуляется

Уверенная ошибка (p → 0 при y = 1) даёт бесконечный штраф

Ключевые тезисы

Совпадает с функцией потерь при обучении .
Требует калиброванных вероятностей.
Одна уверенная ошибка может испортить метрику на всей выборке.

Какую задачу решает

оценивает не решения, а вероятности: он штрафует за расстояние между предсказанной вероятностью и фактом, причём логарифмически. Ответ «0.9» при верном исходе стоит дёшево, ответ «0.99» при неверном — очень дорого.

Отсюда главное свойство: это правильная (proper) . Её минимум достигается ровно тогда, когда модель выдаёт истинные вероятности, а не когда она удачно угадывает метки. Поэтому используют и как обучающую цель классификации, и как метрику там, где вероятности идут дальше в расчёты — в ожидаемую прибыль, в оценку риска, в решение о пороге.

Насколько дорога самоуверенность

Модель на 1000 объектов даёт вероятность 0.99 и ошибается ровно один раз. Вклад этого объекта в сумму: $- lo g (0.01) = 4.6$ . Вклад остальных 999 верных: примерно $999 \cdot 0.01 = 10$ . То есть одна уверенная ошибка весит почти половину от всех остальных предсказаний вместе. Это не дефект метрики, а её смысл: если модель говорит «99%», она должна ошибаться в одном случае из ста, а не в каждом сотом объекте выборки заявлять невозможное.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

LogLoss = - \frac{1}{n} i = 1 \sum n [y_{i} lo g p_{i} + (1 - y_{i}) lo g (1 - p_{i})]

Обозначения

$y$ истинное значение целевой переменной
$n$ число объектов в выборке
$p$ предсказанная моделью вероятность
$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Факт	Предсказание	Вклад в потери
1	0.9	0.105
1	0.5	0.693
1	0.1	2.303
1	0.01	4.605

Уверенная ошибка стоит непропорционально дорого. Именно поэтому — правильная метрика, когда решение принимается по значению вероятности (ставки, ценообразование, ожидаемая прибыль).

H(p)1.000 бит

H(p, q)1.000 бит

KL(p‖q)0.000 бит

Истинная вероятность p0.50Предсказание модели q0.50

Сдвигайте q при фиксированном p: кросс-энтропия минимальна ровно при q = p

LogLoss = - \frac{1}{n} i = 1 \sum n k = 1 \sum K y_{ik} lo g p_{ik}

Обозначения

$y$ истинное значение целевой переменной
$n$ число объектов в выборке
$p$ предсказанная моделью вероятность
$k$ размер топа выдачи (K) или номер позиции
$\sum$ суммирование по всем перечисленным элементам
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Вероятности по классам должны суммироваться в единицу — иначе метрика посчитается, но будет бессмысленной.
Значения обрезают до $[ε, 1 - ε]$ , иначе одно предсказание 0.0 на верном классе даёт бесконечность.
нельзя сравнивать между датасетами: он зависит от числа классов и их баланса.

Где применяется

Обучение классификаторовСтандартная : , , .
Вероятности в расчётахОжидаемая прибыль, страховые резервы, ставки — везде, где число идёт дальше в формулу.
Проверка Плохо откалиброванная модель получает высокий даже при отличном ранжировании.
СоревнованияЧастая целевая метрика именно потому, что заставляет работать с вероятностями честно.

Плюсы, минусы и альтернативы

Плюсы

Оценивает уверенность, а не только порядок или метку.
Правильная : поощряет честность модели.
Дифференцируема — годится и как метрика, и как цель обучения.
Обобщается на любое число классов без изменений.

Минусы

Не интерпретируется в абсолютных значениях: «0.31» само по себе ни о чём не говорит.
Одно уверенное и неверное предсказание способно испортить метрику по всей выборке.
Не выдерживает вероятностей ровно 0 или 1 — требуется обрезка.
Чувствительна к дисбалансу: значение сдвигается вместе с долей классов.

Брать, если

Вероятности используются в дальнейших расчётах.
Нужна метрика, чувствительная к .
Обучается вероятностный классификатор.

Не брать, если

Нужна интерпретируемая для бизнеса величина — не объяснить.
Важен только порядок объектов — берите .

Чем заменяют

Brier ScoreактуальноBrier Score · МетрикиНужна метрика вероятностей, менее свирепая к отдельным ошибкам.CalibrationактуальноКалибровка · Оценка моделей высок при хорошем — проблема в .ROC-AUCактуальноROC-AUC · МетрикиНужен только порядок объектов.

Тема также относится к главам:Классическое машинное обучениеФункции потерь Глубокое обучениеФункции потерь Теория вероятностей и распределенияПрименение в ML

Связанные темы

Качество вероятностей · Вероятность и информация · Качество классификации

Кому эта тема нужна

Спрашивают на собеседовании: ВТБ — Риск-модели.

Добавить в учебную программу

Следующий шагДальше по связи: CalibrationСоответствие предсказанных вероятностей реальным частотам событий.Перейти →

Глава «Метрики» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

Calibration98%

Logistic Regression98%

Brier Score85%

Perplexity85%

Accuracy85%

Precision85%

Recall85%

F185%

ROC-AUC85%

PR-AUC85%

MCC85%

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

KL Divergence70%

Cross-Entropy70%

Bayes Theorem70%

Naive Bayes70%

Формула

Правильная функция потерь

Штраф за самоуверенность

Многоклассовый вариант

Log Loss

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Формула и её поведениеМетрика, которой важна уверенность, а не только ответ.

2Многоклассовый случай и клиппингПрактические детали, о которые часто спотыкаются.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

Calibration98%

Logistic Regression98%

Brier Score85%

Perplexity85%

Accuracy85%

Precision85%

Recall85%

F185%

ROC-AUC85%

PR-AUC85%

MCC85%

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

KL Divergence70%

Cross-Entropy70%

Bayes Theorem70%

Naive Bayes70%

Ключевые понятия4 определения из текста — каждое со ссылкой на разбор

Формула

Правильная функция потерь

Штраф за самоуверенность

Многоклассовый вариант