Cross-Entropy

Ожидаемая длина кода при использовании q для данных из p: p плюс KL(p‖q).

Ключевые тезисы

Стандартная классификации и языкового моделирования.
Минимизация = максимизация .
— экспонента .

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

H (p, q) = H (p) + D_{KL} (p ∥ q)

Обозначения

$D_{KL}$ KL-дивергенция: насколько одно распределение отличается от другого
$H (p)$ энтропия — мера неопределённости распределения
$p$ вероятность (или показатель нормы)
$q$ распределение, предсказанное моделью
$∥ \cdot ∥$ норма — длина вектора

$H (p)$ от модели не зависит, поэтому минимизация в точности эквивалентна минимизации — и одновременно максимизации логарифмического данных.

Perplexity = 2^{H (p, q)}

Обозначения

$H (p)$ энтропия — мера неопределённости распределения
$p$ вероятность (или показатель нормы)
$q$ распределение, предсказанное моделью

: «между сколькими равновероятными вариантами она в среднем выбирает»

y_{k}^{'} = (1 - α) y_{k} + \frac{α}{K}

Обозначения

$α$ коэффициент, задающий вес слагаемого или скорость обновления
$y$ истинное значение целевой переменной
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций

Вместо жёсткой единицы — 0.9, вместо нулей — небольшая доля

Модель перестаёт стремиться к бесконечно большим логитам и становится менее переуверенной. Обычно $α = 0.1$ ; метрика почти не меняется, а ECE и устойчивость улучшаются.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

2:54:00Cross-Entropy Method для дискретных политикОбучение с подкреплением · Лекция «Введение в Reinforcement Learning» · 3 ч 19 мин 50:42Почему Softmax и Cross-Entropy в DenyListПрикладной MLOps · Лекция «Ускорение вычислений и инференс» · 2 ч 52 мин

Связанные темы

Вероятность и информация

Следующий шагДальше по связи: ProbabilityЯзык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.Перейти →

Глава «Математический справочник» последний раз правилась 26 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Подробный разбор

Видеолекции

Связанные темы

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

KL Divergence70%

Bayes Theorem70%

Naive Bayes70%

Log Loss70%

Cross-Entropy

Ключевые тезисы

Подробный разбор

1Связь с правдоподобиемПочему это стандартная функция потерь классификации.

2Label smoothingНебольшая правка цели, заметно улучшающая калибровку.

Видеолекции

Связанные темы

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

KL Divergence70%

Bayes Theorem70%

Naive Bayes70%

Log Loss70%