Cross-Entropy

Ожидаемая длина кода при использовании q для данных из p: энтропия p плюс KL(p‖q).

Ключевые тезисы

Стандартная функция потерь классификации и языкового моделирования.
Минимизация кросс-энтропии = максимизация правдоподобия.
Перплексия языковой модели — экспонента кросс-энтропии.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Связь с правдоподобием

Почему это стандартная функция потерь классификации.

H (p, q) = H (p) + D_{KL} (p ∥ q)

Обозначения

$D_{KL}$ KL-дивергенция: насколько одно распределение отличается от другого
$H (p)$ энтропия — мера неопределённости распределения
$p$ вероятность (или показатель нормы)
$q$ распределение, предсказанное моделью
$∥ \cdot ∥$ норма — длина вектора

$H (p)$ от модели не зависит, поэтому минимизация кросс-энтропии в точности эквивалентна минимизации KL-дивергенции — и одновременно максимизации логарифмического правдоподобия данных.

Perplexity = 2^{H (p, q)}

Обозначения

$H (p)$ энтропия — мера неопределённости распределения
$p$ вероятность (или показатель нормы)
$q$ распределение, предсказанное моделью

Перплексия языковой модели: «между сколькими равновероятными вариантами она в среднем выбирает»

Label smoothing

Небольшая правка цели, заметно улучшающая калибровку.

y_{k}^{'} = (1 - α) y_{k} + \frac{α}{K}

Обозначения

$α$ коэффициент, задающий вес слагаемого или скорость обновления
$y$ истинное значение целевой переменной
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций

Вместо жёсткой единицы — 0.9, вместо нулей — небольшая доля

Модель перестаёт стремиться к бесконечно большим логитам и становится менее переуверенной. Обычно $α = 0.1$ ; метрика accuracy почти не меняется, а ECE и устойчивость улучшаются.

Связанные темы

Вероятность и информация

Ключевые тезисы

Подробный разбор

Связь с правдоподобием

Label smoothing

Связанные темы

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

KL Divergence70%

Bayes Theorem70%

Naive Bayes70%

Log Loss70%