Параметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.
- апостериорное распределение параметров — результат вывода
- правдоподобие: насколько данные согласуются с параметрами
- априорное убеждение о параметрах. В MAP-оценке оно и играет роль регуляризации
Ключевые тезисы
- Сопряжённые пары (бета-биномиальная, гамма-пуассоновская) дают решение в замкнутой форме.
- MAP-оценка эквивалентна регуляризованной оптимизации, а полный вывод даёт ещё и неопределённость.
- Практические инструменты: (NUTS) и .
Подробный разбор
| Полный байес | ||
|---|---|---|
| Результат | одна оценка параметров | распределение параметров |
| Стоимость | как обычная оптимизация | или |
| Неопределённость | нет | есть |
| Связь с ML | = регуляризованная оптимизация | , байесовские сети |
Даже без полного вывода байесовский взгляд полезен: он объясняет, откуда берётся и почему при малых данных априор так сильно влияет на результат.
- Малые выборки: клинические исследования, редкие события, A/B на низком трафике.
- Иерархические данные: магазины внутри сети, пользователи внутри когорт — частичное объединение информации.
- Бандиты и активное обучение: нужна не только оценка, но и неопределённость.
- Байесовская оптимизация гиперпараметров — тот же аппарат в чистом виде.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Теория вероятностей и распределения» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Байесовский подход · Байесовские вычисления
Markov Chains96%
Марковские цепи · Теория вероятностей и распределенияПроцесс, в котором будущее зависит только от текущего состояния. База для MDP, MCMC и моделей поведения пользователя.
MCMC85%
Марковские цепи Монте-Карло · Теория вероятностей и распределенияСэмплирование из апостериорного распределения, когда его нельзя выписать: цепь строится так, чтобы её стационарное распределение совпадало с целевым.
Variational Inference85%
Вариационный вывод · Теория вероятностей и распределенияАпостериорное распределение не сэмплируют, а приближают простым семейством: вывод превращается в задачу оптимизации.
Maximum Likelihood85%
Метод максимального правдоподобия · Теория вероятностей и распределенияПодобрать параметры так, чтобы наблюдаемые данные были при них наиболее вероятны.
VAE85%
Вариационный автоэнкодер · Глубокое обучениеВероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.
KL Divergence85%
KL-дивергенция · Математический справочникНасколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.
Beta Distribution75%
Бета-распределение · Теория вероятностей и распределенияРаспределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.
Conditional Independence75%
Условная независимость · Теория вероятностей и распределенияДве величины независимы при известной третьей. Понятие, на котором стоят байесовские сети и наивный классификатор.
Probability Axioms75%
Аксиомы вероятности · Теория вероятностей и распределенияТри аксиомы Колмогорова, из которых выводится вся теория: неотрицательность, нормировка и аддитивность.
Random Variables75%
Случайные величины · Теория вероятностей и распределенияОтображение исходов в числа. Дискретные описываются функцией вероятности, непрерывные — плотностью.
Bayes Theorem75%
Теорема Байеса · Математический справочникПравило пересчёта вероятности гипотезы после получения новых данных.
Naive Bayes75%
Наивный байесовский классификатор · Классическое машинное обучениеПрименяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.
Bayesian Optimization75%
Байесовская оптимизация · Практика MLСтроит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.
Probability75%
Теория вероятностей · ОсновыЯзык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Теория вероятностей и распределения» последний раз правилась . Нашли ошибку — напишите.