Правило пересчёта вероятности гипотезы после получения новых данных.
- апостериорное: во что мы верим после того, как увидели данные
- правдоподобие (насколько данные ожидаемы, если гипотеза верна) на априорное убеждение о самой гипотезе
- вероятность самих данных: нормировка по всем гипотезам. Именно она объясняет парадокс редких болезней
Ключевые тезисы
- Апостериорное ∝ × априорное.
- Основа наивного байесовского классификатора и .
- Объясняет парадокс редких болезней: при низком априоре даже точный тест часто ошибается.
Подробный разбор
- Naive Bayes — прямое применение с предположением независимости .
- Байесовская оптимизация — обновление представления о ландшафте метрики после каждого запуска.
- Интерпретация precision — при редком классе низкая точность неизбежна даже у хорошей модели.
Максимизация апостериорной вероятности () с нормальным априорным распределением весов в точности эквивалентна L2-регуляризации, а с распределением Лапласа — .
- сила регуляризации: штраф за сложность модели
- веса модели — то, что подбирается при обучении
- вероятность (или показатель нормы)
- функция, по которой берут производную
- аргумент, при котором выражение минимально (или максимально)
- норма — длина вектора
- логарифм: превращает произведения в суммы и сжимает масштаб
Это одна из самых красивых связок в ML: — не эвристика, а формализованное априорное убеждение о том, что веса не должны быть большими.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Математический справочник» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Байесовский подход · Вероятность и информация
Naive Bayes93%
Наивный байесовский классификатор · Классическое машинное обучениеПрименяет теорему Байеса при «наивном» предположении о независимости признаков — и работает лучше, чем должно.
Probability93%
Теория вероятностей · ОсновыЯзык неопределённости: распределения, условные вероятности и теорема Байеса описывают, как данные порождаются и как обновлять убеждения.
Bayesian Inference75%
Байесовский вывод · Теория вероятностей и распределенияПараметры модели рассматриваются как случайные величины; данные обновляют априорное распределение в апостериорное.
Markov Chains75%
Марковские цепи · Теория вероятностей и распределенияПроцесс, в котором будущее зависит только от текущего состояния. База для MDP, MCMC и моделей поведения пользователя.
Beta Distribution75%
Бета-распределение · Теория вероятностей и распределенияРаспределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.
Conditional Independence75%
Условная независимость · Теория вероятностей и распределенияДве величины независимы при известной третьей. Понятие, на котором стоят байесовские сети и наивный классификатор.
Probability Axioms75%
Аксиомы вероятности · Теория вероятностей и распределенияТри аксиомы Колмогорова, из которых выводится вся теория: неотрицательность, нормировка и аддитивность.
Random Variables75%
Случайные величины · Теория вероятностей и распределенияОтображение исходов в числа. Дискретные описываются функцией вероятности, непрерывные — плотностью.
Bayesian Optimization75%
Байесовская оптимизация · Практика MLСтроит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.
Statistics70%
Статистика · ОсновыКак от выборки перейти к выводам о генеральной совокупности: оценки, доверительные интервалы и проверка гипотез.
Information Theory70%
Теория информации · ОсновыИзмеряет количество информации и различие между распределениями. Отсюда родом энтропия, кросс-энтропия и KL-дивергенция.
Probability Distribution70%
Распределение вероятностей · Математический справочникЗакон, задающий вероятности значений случайной величины.
Expectation70%
Математическое ожидание · Математический справочникСреднее значение случайной величины по её распределению.
Variance70%
Дисперсия · Математический справочникМера разброса значений вокруг среднего.
Covariance70%
Ковариация · Математический справочникМера совместной изменчивости двух величин; корреляция — её нормированная версия.
Entropy70%
Энтропия · Математический справочникМера неопределённости распределения: максимальна при равномерном, нулевая при детерминированном.
KL Divergence70%
KL-дивергенция · Математический справочникНасколько распределение q плохо описывает распределение p; несимметрична и не является метрикой.
Cross-Entropy70%
Кросс-энтропия · Математический справочникОжидаемая длина кода при использовании q для данных из p: энтропия p плюс KL(p‖q).
Log Loss70%
Логарифмические потери · МетрикиОценивает качество самих вероятностей, а не только меток: уверенная ошибка штрафуется очень сильно.
Профильная компетенция для ролей: Data Scientist, Аналитик данных, Исследователь.
Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.
Глава «Математический справочник» последний раз правилась . Нашли ошибку — напишите.