Markov Chains

Процесс, в котором будущее зависит только от текущего состояния. База для , и моделей поведения пользователя.

P (X_{t + 1} ∣ X_{t}, X_{t - 1}, \dots, X_{0}) = P (X_{t + 1} ∣ X_{t})

Что означает каждый компонент

$X_{t} \dots X_{0}$ вся история процесса
$X_{t}$ только текущее состояние. Марковское свойство: история не добавляет информации сверх настоящего

Ключевые тезисы

переходов полностью описывает динамику; стационарное распределение — её .
Эргодичность гарантирует существование и единственность стационарного распределения.
использует цепь, стационарное распределение которой равно искомому апостериорному.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

π = π P, i \sum π_{i} = 1

Обозначения

$\sum$ суммирование по всем перечисленным элементам
$π$ число π ≈ 3.14159

Стационарное распределение — левый переходов

Неразложимость и апериодичность гарантируют единственность и сходимость.
— стационарное распределение блуждания по веб-графу с телепортацией.
Скорость сходимости определяется вторым по величине собственным значением.

Идея: построить цепь, стационарное распределение которой совпадает с искомым апостериорным. Алгоритм Метрополиса — Гастингса делает это, принимая или отклоняя предложенные переходы.

a = min (1, \frac{p ( x ^{'} ) q ( x ∣ x ^{'} )}{p ( x ) q ( x ^{'} ∣ x )})

Обозначения

$x$ значение случайной величины
$p$ вероятность события
$q$ распределение, предсказанное моделью

На практике

Диагностика обязательна: несколько цепей, показатель $R^$ близкий к 1, достаточный эффективный размер выборки. Современный стандарт — NUTS в Stan, PyMC или NumPyro.

Тема также относится к главам:Обучение с подкреплениемОсновы

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Теория вероятностей и распределения» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Математика для ML14 записей

Связанные темы

Байесовский подход · Байесовские вычисления

Bayesian Inference96%

Байесовский вывод · Теория вероятностей и распределения

Параметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.

MCMC85%

Марковские цепи Монте-Карло · Теория вероятностей и распределения

Сэмплирование из апостериорного распределения, когда его нельзя выписать: цепь строится так, чтобы её стационарное распределение совпадало с целевым.

Variational Inference85%

Вариационный вывод · Теория вероятностей и распределения

Апостериорное распределение не сэмплируют, а приближают простым семейством: вывод превращается в задачу оптимизации.

Maximum Likelihood85%

Метод максимального правдоподобия · Теория вероятностей и распределения

Подобрать параметры так, чтобы наблюдаемые данные были при них наиболее вероятны.

VAE85%

Вариационный автоэнкодер · Глубокое обучение

Вероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.

KL Divergence85%

KL-дивергенция · Математический справочник

Насколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.

Beta Distribution75%

Бета-распределение · Теория вероятностей и распределения

Распределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.

Conditional Independence75%

Условная независимость · Теория вероятностей и распределения

Две величины независимы при известной третьей. Понятие, на котором стоят байесовские сети и наивный классификатор.

Probability Axioms75%

Аксиомы вероятности · Теория вероятностей и распределения

Три аксиомы Колмогорова, из которых выводится вся теория: неотрицательность, нормировка и аддитивность.

Random Variables75%

Случайные величины · Теория вероятностей и распределения

Отображение исходов в числа. Дискретные описываются функцией вероятности, непрерывные — плотностью.

Bayes Theorem75%

Теорема Байеса · Математический справочник

Правило пересчёта вероятности гипотезы после получения новых данных.

Naive Bayes75%

Наивный байесовский классификатор · Классическое машинное обучение

Применяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.

Bayesian Optimization75%

Байесовская оптимизация · Практика ML

Строит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.

Probability75%

Теория вероятностей · Основы

Язык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.

Следующий шагДальше по связи: Bayesian InferenceПараметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.Перейти →

Глава «Теория вероятностей и распределения» последний раз правилась 26 августа 2026 г.. Нашли ошибку — напишите.