Probability

Язык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.

P (A ∣ B) = P ( A \cap B ) P ( B )

Что означает каждый компонент

$P (A ∣ B)$ вероятность A при условии, что B произошло
$P (A \cap B)$ вероятность того, что произошли оба события
$P (B)$ сужаем пространство исходов до тех, где B верно, — и нормируем на них

Ключевые тезисы

Совместное, маргинальное и условное распределения — три взгляда на одну и ту же модель мира.
Байесовский подход трактует параметры как случайные величины с апостериорным распределением.
Многие функции потерь — это отрицательное логарифмическое правдоподобие конкретного распределения.

Подробный разбор

3 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Случайные величины и распределения

Словарь, на котором говорят все вероятностные модели.

Случайная величина — это правило, сопоставляющее исходу число: «клиент ушёл» → 1, «остался» → 0. Распределение задаёт, с какими вероятностями величина принимает свои значения.

Распределение	Где встречается в ML	Параметры
Бернулли	бинарная классификация, клик / не клик	$p$
Биномиальное	число успехов из $n$ попыток, A/B-тесты	$n, p$
Пуассона	число событий за интервал: заказы, отказы	$λ$
Нормальное	ошибки измерений, шум в регрессии	$μ, σ^{2}$
Категориальное	многоклассовая классификация, softmax	$p_{1}, \dots, p_{K}$

Выбор распределения — это и есть выбор функции потерь. Предположили нормальный шум — получили MSE; предположили Бернулли — получили логистические потери. Максимизация правдоподобия превращает вероятностную модель в конкретную формулу обучения.

Условная вероятность и теорема Байеса

Как обновлять уверенность после того, как пришли новые данные.

P (H ∣ D) = \frac{P ( D ∣ H ) P ( H )}{P ( D )}

Апостериорное = правдоподобие × априорное / нормировка

Классический парадокс теста

Болезнь встречается у 1 из 1000 человек. Тест даёт положительный результат у 99% больных и ошибается у 5% здоровых. Тест положителен — какова вероятность болезни? $P = \frac{0.99 \cdot 0.001}{0.99 \cdot 0.001 + 0.05 \cdot 0.999} \approx 0.019$ , то есть меньше 2%. Редкость события важнее точности теста.

Ровно из-за этого accuracy бесполезна на редких классах, а precision в задачах фрода оказывается низкой даже у хорошей модели: положительных объектов мало, а ложные срабатывания копятся со всей огромной массы отрицательных.

Precision0.941

Recall0.841

F10.888

Accuracy0.936

TP / FP / FN252 / 16 / 48

Порог0.50Разделимость классов2.0Доля класса 130%

Уменьшите долю класса 1 и посмотрите, как рушится precision при неизменном качестве модели

Математическое ожидание и дисперсия

Два числа, которыми описывают любое распределение в первом приближении.

E [X] = x \sum x p (x), Var [X] = E [(X - E [X])^{2}] = E [X^{2}] - (E [X])^{2}

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$Var$ дисперсия — мера разброса значений
$x$ объект или аргумент функции
$p$ вероятность (или плотность распределения)
$\sum$ суммирование по всем перечисленным элементам

Ожидание линейно всегда: $E [a X + bY] = a E [X] + b E [Y]$ , даже если величины зависимы.
Дисперсия суммы независимых величин складывается — именно поэтому усреднение $n$ независимых моделей снижает разброс в $n$ раз.
Функция потерь на выборке — это оценка ожидания потерь по неизвестному распределению данных.

На практике

Разложение ошибки $Err = Bias^{2} + Var + σ^{2}$ — прямое следствие этих двух определений. Бэггинг бьёт по слагаемому Var, бустинг — по Bias.

Связанные темы

Распределения и их хвосты · Байесовский подход · Вероятность и информация

Ключевые тезисы

Подробный разбор

Случайные величины и распределения

Условная вероятность и теорема Байеса

Математическое ожидание и дисперсия

Связанные темы

Beta Distribution95%

Probability Distribution94%

Bayes Theorem93%

Naive Bayes93%

Normal Distribution80%

Log-normal Distribution80%

Power Law80%

Poisson Distribution80%

Exponential Distribution80%

Binomial & Bernoulli80%

Heavy Tails80%

Bayesian Inference75%

Markov Chains75%

Conditional Independence75%

Probability Axioms75%

Random Variables75%

Bayesian Optimization75%

Statistics70%

Information Theory70%

Expectation70%

Variance70%

Covariance70%

Entropy70%

KL Divergence70%

Cross-Entropy70%

Log Loss70%