Information Theory

Честная монета: $H=1$ бит — максимальная неопределённость. Монета, всегда падающая орлом: $H=0$, результат известен заранее. Именно поэтому решающее дерево ищет разбиение, максимально снижающее энтропию: оно ищет вопрос, ответ на который несёт больше всего информации.

$H(p)$ от модели не зависит, поэтому минимизация кросс-энтропии эквивалентна минимизации KL-дивергенции между истинным распределением и предсказанным. Это и есть обучение классификатора: подгонять $q$ под $p$.

• KL несимметрична: $D_{\mathrm{KL}}(p\Vert q)\ne D_{\mathrm{KL}}(q\Vert p)$, поэтому это не метрика.
• Уверенная ошибка ($q\to 0$ там, где $p=1$) даёт бесконечный штраф — отсюда чувствительность log loss.
• Перплексия языковой модели — это $2^{H(p,q)}$: «сколько равновероятных вариантов модель в среднем рассматривает».