KL Divergence

Насколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.

D_{KL} (p ∥ q) = x \sum p (x) lo g \frac{p ( x )}{q ( x )}

Что означает каждый компонент

$p (x)$ усреднение идёт по истинному распределению p — поэтому мера несимметрична
$lo g \frac{p}{q}$ во сколько раз модель q ошибается относительно истины p в каждой точке

Ключевые тезисы

Всегда неотрицательна, равна нулю только при совпадении распределений.
Регуляризатор в и в .
Симметричная альтернатива — дивергенция Дженсена — Шеннона.

Какую задачу решает

измеряет, насколько одно распределение отличается от другого: сколько лишней информации приходится тратить, если кодировать данные из $p$ , считая их распределёнными как $q$ . Ноль означает совпадение, и чем больше значение, тем сильнее расхождение.

Это не расстояние: величина несимметрична, и $D (p ∥ q) \neq = D (q ∥ p)$ . Асимметрия не дефект, а содержательное свойство — от направления зависит, какое поведение поощряется. Прямая KL заставляет модель покрывать все моды истинного распределения, обратная — сосредоточиться на одной и сделать это хорошо. Именно этим отличается поведение от вариационных приближений.

Что делает направление KL

Истинное распределение двугорбое, приближаем его одной гауссианой. Минимизация $D (p ∥ q)$ (прямая) даст широкую гауссиану, накрывающую оба горба, включая провал между ними, — потому что за нулевую плотность там, где истинная положительна, штраф бесконечен. Минимизация $D (q ∥ p)$ (обратная) даст узкую гауссиану, севшую точно на один горб, — второй просто игнорируется. Ни один из ответов не «правильный»: выбор направления и есть выбор того, что вам нужно — покрытие или точность.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

D_{KL} (p ∥ q) = x \sum p (x) lo g \frac{p ( x )}{q ( x )} \geq 0

Обозначения

$D_{KL}$ KL-дивергенция: насколько одно распределение отличается от другого
$x$ вектор или точка пространства признаков
$p$ вероятность (или показатель нормы)
$q$ распределение, предсказанное моделью
$\sum$ суммирование по всем перечисленным элементам
$∥ \cdot ∥$ норма — длина вектора
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Несимметрична: $D_{KL} (p ∥ q) \neq = D_{KL} (q ∥ p)$ ; не удовлетворяет неравенству треугольника.
Обращается в бесконечность, если $q (x) = 0$ там, где $p (x) > 0$ — модель «исключила» возможный исход.
Применения: регуляризатор в , штраф в , мера данных (в симметричном варианте — Дженсена — Шеннона).

Направление	Поведение $q$	Где встречается
$D_{K L} (p ∥ q)$	покрывает все моды $p$ , размазывается	максимизация
$D_{K L} (q ∥ p)$	садится на одну моду

Отсюда, в частности, размытость : обучение максимизирует и вынуждает модель покрывать все варианты сразу, усредняя их.

Где применяется

Обучение KL-слагаемое притягивает апостериорное распределение к приору и делает латент пригодным для сэмплирования.
Маленькая модель учится воспроизводить распределение выходов большой.
в KL-штраф не даёт модели уйти далеко от исходной в погоне за наградой.
Обнаружение Мера расхождения между историческим и текущим распределением .
Приближение сложного апостериорного распределения простым семейством.

Плюсы, минусы и альтернативы

Плюсы

Строгое информационно-теоретическое обоснование.
Дифференцируема — годится как слагаемое .
Асимметрия даёт содержательный выбор поведения приближения.
Связывает , и максимум в одну картину.

Минусы

Не метрика: несимметрична и не удовлетворяет неравенству треугольника.
Обращается в бесконечность при непересекающихся носителях.
Значение трудно интерпретировать в абсолютных величинах.
Оценка по выборке для непрерывных величин требует ухищрений.

Брать, если

Нужно измерить расхождение между распределениями внутри .
Приближается сложное распределение более простым.
Нужен штраф за отход от исходной модели.

Не брать, если

Нужна симметричная мера — берите дивергенцию Дженсена — Шеннона или расстояние Вассерштейна.
Распределения могут не пересекаться — KL уйдёт в бесконечность.

Чем заменяют

Cross-EntropyактуальноКросс-энтропия · Математический справочникЗадача классификации: там KL и отличаются на константу.EntropyактуальноЭнтропия · Математический справочникНужна мера неопределённости одного распределения.VAEактуальноВариационный автоэнкодер · Глубокое обучениеНужен пример практического применения KL в генеративной модели.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

43:38Подходы с ограничениями (support constraint, KL-дивергенция)Обучение с подкреплением · Лекция «Offline Reinforcement Learning» · 2 ч 50 мин 58:23Lower bound через KL-дивергенциюОбучение с подкреплением · Лекция «Trust Region и Proximal Policy Optimization» · 3 ч 21 мин

Связанные темы

Вероятность и информация · Байесовские вычисления

Кому эта тема нужна

Профильная компетенция для роли: Исследователь.

Добавить в учебную программу

Следующий шагДальше по связи: Bayesian InferenceПараметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.Перейти →

Глава «Математический справочник» последний раз правилась 26 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Bayesian Inference85%

MCMC85%

Variational Inference85%

Maximum Likelihood85%

Markov Chains85%

VAE85%

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

Cross-Entropy70%

Bayes Theorem70%

Naive Bayes70%

Log Loss70%

Формула

Несимметричность

Mode covering

Mode seeking

Неограниченность

KL Divergence

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Свойства и применениеНе метрика, но незаменима.

2Асимметрия и её последствияMode-seeking против mode-covering.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Bayesian Inference85%

MCMC85%

Variational Inference85%

Maximum Likelihood85%

Markov Chains85%

VAE85%

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

Cross-Entropy70%

Bayes Theorem70%

Naive Bayes70%

Log Loss70%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

Формула

Несимметричность

Mode covering

Mode seeking

Неограниченность