Variational Inference

Апостериорное распределение не сэмплируют, а приближают простым семейством: вывод превращается в задачу оптимизации.

ELBO (q) = E_{q (z)} [lo g p (x, z)] - E_{q (z)} [lo g q (z)]

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$x$ значение случайной величины
$p$ вероятность события
$q$ распределение, предсказанное моделью
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Максимизация ELBO равносильна минимизации KL(q‖p): та же величина с точностью до константы log p(x)

Ключевые тезисы

Минимизируется от приближения к истинному апостериорному — эквивалентно максимизации ELBO.
Масштабируется на большие данные и оптимизацию, где уже неприменим по времени.
Плата за скорость — систематическая недооценка : VI обычно даёт слишком узкое распределение.

Подробный разбор

1 подтема — объяснения, формулы, примеры и интерактивные графики.

Вводится семейство простых распределений $q_{ϕ} (z)$ — например, независимые нормальные по каждой координате. Задача: подобрать $ϕ$ так, чтобы $q$ было как можно ближе к апостериорному $p (z ∣ x)$ по . Сама KL содержит неизвестное $lo g p (x)$ , но её минимизация эквивалентна максимизации ELBO, которую считать можно.

lo g p (x) = ELBO E_{q} [lo g \frac{p ( x , z )}{q ( z )}] + \geq 0 D_{KL} (q (z) ∥ p (z ∣ x))

Обозначения

$D_{KL}$ KL-дивергенция: насколько одно распределение отличается от другого
$E [\cdot]$ математическое ожидание — среднее по распределению
$x$ значение случайной величины
$p$ вероятность события
$q$ распределение, предсказанное моделью
$∥ \cdot ∥$ норма — длина вектора
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

Сумма постоянна, поэтому рост ELBO — это в точности падение KL до истинного апостериорного


Природа метода	сэмплирование	оптимизация
Точность	асимптотически точен	ограничен выбранным семейством
Масштаб	тысячи объектов	миллионы, мини-батчами
Типичная ошибка	недосходимость цепи	заниженная апостериорного

На практике

— это ровно VI, встроенный в : энкодер выдаёт параметры $q_{ϕ} (z ∣ x)$ , а обучение максимизирует ту же ELBO — реконструкция плюс KL-штраф к приору.

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Теория вероятностей и распределения» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Математика для ML14 записей

Связанные темы

Байесовские вычисления

Bayesian Inference85%

Байесовский вывод · Теория вероятностей и распределения

Параметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.

MCMC85%

Марковские цепи Монте-Карло · Теория вероятностей и распределения

Сэмплирование из апостериорного распределения, когда его нельзя выписать: цепь строится так, чтобы её стационарное распределение совпадало с целевым.

Maximum Likelihood85%

Метод максимального правдоподобия · Теория вероятностей и распределения

Подобрать параметры так, чтобы наблюдаемые данные были при них наиболее вероятны.

Markov Chains85%

Марковские цепи · Теория вероятностей и распределения

Процесс, в котором будущее зависит только от текущего состояния. База для MDP, MCMC и моделей поведения пользователя.

VAE85%

Вариационный автоэнкодер · Глубокое обучение

Вероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.

KL Divergence85%

KL-дивергенция · Математический справочник

Насколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.

Кому эта тема нужна

Усиливает профиль: Исследователь.

Добавить в учебную программу

Следующий шагДальше по связи: Bayesian InferenceПараметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.Перейти →

Глава «Теория вероятностей и распределения» последний раз правилась 26 августа 2026 г.. Нашли ошибку — напишите.