Probability Distribution — Распределение вероятностей

Закон, задающий вероятности значений случайной величины.

Ключевые тезисы

Дискретные: Бернулли, биномиальное, Пуассона; непрерывные: нормальное, экспоненциальное.
Нормальное распределение возникает из центральной предельной теоремы.
Выбор распределения ошибки эквивалентен выбору функции потерь.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Распределения, которые встречаются чаще всего

И функции потерь, которые из них следуют.

Распределение	Параметры	Функция потерь
Нормальное	$μ, σ^{2}$	MSE
Лапласа	$μ, b$	MAE
Бернулли	$p$	бинарная кросс-энтропия
Категориальное	$p_{1} .. p_{K}$	кросс-энтропия
Пуассона	$λ$	Poisson loss

Связь простая: минимизация функции потерь = максимизация правдоподобия при соответствующем предположении о шуме. Выбирая метрику, вы неявно выбираете модель шума.

Сэмплирование и генерация

Как получить объект из распределения.

Inverse CDF: применить обратную функцию распределения к равномерной величине.
Reparameterization: $z = μ + σ ε$ — используется в VAE, потому что дифференцируемо.
MCMC: когда плотность известна с точностью до константы.
Gumbel-softmax: дифференцируемая замена сэмплированию из категориального распределения.

Связанные темы

Распределения и их хвосты · Вероятность и информация

Probability94%

Теория вероятностей · Основы

Язык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.

Normal Distribution80%

Нормальное распределение · Теория вероятностей и распределения

Колоколообразное распределение с двумя параметрами. Максимально энтропийное при заданных среднем и дисперсии — поэтому его берут «по умолчанию».

Log-normal Distribution80%

Логнормальное распределение · Теория вероятностей и распределения

Величина, логарифм которой нормален. Возникает там, где эффекты перемножаются, а не складываются.

Power Law80%

Степенное распределение · Теория вероятностей и распределения

Плотность убывает как степень: редкие события встречаются намного чаще, чем предсказывает нормальный закон. Распределения Парето и Ципфа — его классические формы.

Poisson Distribution80%

Распределение Пуассона · Теория вероятностей и распределения

Число редких независимых событий за фиксированный интервал: заказы за час, отказы за сутки, клики за сессию.

Exponential Distribution80%

Экспоненциальное распределение · Теория вероятностей и распределения

Время между пуассоновскими событиями. Единственное непрерывное распределение без памяти.

Binomial & Bernoulli80%

Бернулли и биномиальное · Теория вероятностей и распределения

Один успех или число успехов в серии независимых испытаний — базовая модель конверсии и кликов.

Beta Distribution80%

Бета-распределение · Теория вероятностей и распределения

Распределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.

Heavy Tails80%

Тяжёлые хвосты · Теория вероятностей и распределения

Распределения, у которых экстремальные значения не являются пренебрежимо редкими. Именно они ломают привычные оценки и метрики.

Statistics70%

Статистика · Основы

Как от выборки перейти к выводам о генеральной совокупности: оценки, доверительные интервалы и проверка гипотез.

Information Theory70%

Теория информации · Основы

Измеряет количество информации и различие между распределениями. Отсюда родом энтропия, кросс-энтропия и KL-дивергенция.

Expectation70%

Математическое ожидание · Математический справочник

Среднее значение случайной величины по её распределению.

Variance70%

Дисперсия · Математический справочник

Мера разброса значений вокруг среднего.

Covariance70%

Ковариация · Математический справочник

Мера совместной изменчивости двух величин; корреляция — её нормированная версия.

Entropy70%

Энтропия · Математический справочник

Мера неопределённости распределения: максимальна при равномерном, нулевая при детерминированном.

KL Divergence70%

KL-дивергенция · Математический справочник

Насколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.

Cross-Entropy70%

Кросс-энтропия · Математический справочник

Ожидаемая длина кода при использовании q для данных из p: энтропия p плюс KL(p‖q).

Bayes Theorem70%

Теорема Байеса · Математический справочник

Правило пересчёта вероятности гипотезы после получения новых данных.

Naive Bayes70%

Наивный байесовский классификатор · Классическое машинное обучение

Применяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.

Log Loss70%

Логарифмические потери · Метрики

Оценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.