Bayes Theorem

Правило пересчёта вероятности гипотезы после получения новых данных.

P (H ∣ D) = \frac{P ( D ∣ H )}{;;} \frac{;; P ( H )}{P ( D )}

Что означает каждый компонент

$P (H ∣ D)$ апостериорное: во что мы верим после того, как увидели данные
$P (D ∣ H)$ правдоподобие: насколько данные ожидаемы, если гипотеза верна
$P (H) / P (D)$ априорное убеждение, нормированное на вероятность самих данных. Именно оно объясняет парадокс редких болезней

Ключевые тезисы

Апостериорное ∝ правдоподобие × априорное.
Основа наивного байесовского классификатора и байесовского вывода.
Объясняет парадокс редких болезней: при низком априоре даже точный тест часто ошибается.

Тема также относится к главам:Теория вероятностей и распределенияФундамент · Применение в ML

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Применение в ML

От спам-фильтра до интерпретации метрик.

P (H ∣ D) = \frac{P ( D ∣ H ) P ( H )}{P ( D )}

Naive Bayes — прямое применение с предположением независимости признаков.
Байесовская оптимизация — обновление представления о ландшафте метрики после каждого запуска.
Интерпретация precision — при редком классе низкая точность неизбежна даже у хорошей модели.

Precision0.941

Recall0.841

F10.888

Accuracy0.936

TP / FP / FN252 / 16 / 48

Порог0.50Разделимость классов2.0Доля класса 130%

Меняйте долю положительного класса: это и есть априорная вероятность из формулы Байеса

Априорные распределения

Как знание до данных превращается в регуляризацию.

Максимизация апостериорной вероятности (MAP) с нормальным априорным распределением весов в точности эквивалентна L2-регуляризации, а с распределением Лапласа — L1.

ar g w max [lo g p (D ∣ w) + lo g p (w)] \equiv ar g w min [L_{data} (w) + λ ∥ w ∥^{2}]

Обозначения

$λ$ сила регуляризации: штраф за сложность модели
$w$ веса модели — то, что подбирается при обучении
$p$ вероятность (или показатель нормы)
$L$ функция, по которой берут производную
$ar g min$ аргумент, при котором выражение минимально (или максимально)
$∥ \cdot ∥$ норма — длина вектора
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

На практике

Это одна из самых красивых связок в ML: регуляризация — не эвристика, а формализованное априорное убеждение о том, что веса не должны быть большими.

Связанные темы

Байесовский подход · Вероятность и информация

Ключевые тезисы

Подробный разбор

Применение в ML

Априорные распределения

Связанные темы

Naive Bayes93%

Probability93%

Bayesian Inference75%

Markov Chains75%

Beta Distribution75%

Conditional Independence75%

Probability Axioms75%

Random Variables75%

Bayesian Optimization75%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

KL Divergence70%

Cross-Entropy70%

Log Loss70%