Maximum Likelihood

Подобрать параметры так, чтобы наблюдаемые данные были при них наиболее вероятны.

θ^= ar g θ max i = 1 \sum n lo g p (x_{i} ∣ θ)

Обозначения

$θ^$ оценка параметра по выборке
$θ$ параметры модели
$x$ значение случайной величины
$n$ число наблюдений или испытаний
$p$ вероятность события
$\sum$ суммирование по всем перечисленным элементам
$ar g min$ аргумент, при котором выражение минимально (или максимально)

— это то же выражение плюс логарифм априорного распределения (оценка )

Ключевые тезисы

Максимизируют логарифм : произведение вероятностей превращается в сумму и не переполняется.
MLE для нормального шума даёт метод наименьших квадратов, для Бернулли — с log-loss.
Оценка состоятельна и асимптотически эффективна, но смещена на малых выборках и склонна к без .

Какую задачу решает

У нас есть данные и семейство распределений, из которого они, предположительно, порождены. Вопрос: какие параметры этого семейства выбрать? отвечает так: те, при которых вероятность получить именно эти наблюдения максимальна. Правдоподобие — это та же плотность, но рассматриваемая как функция параметра при фиксированных данных.

Практическая ценность метода в том, что он превращает содержательное предположение о шуме в конкретную . Нормальный шум даёт метод наименьших квадратов, шум Лапласа — среднюю абсолютную ошибку, схема Бернулли — с log-loss. Обучение почти любой модели с вероятностным выходом — это максимизация логарифма , записанная со знаком минус.

Почему MSE — это нормальный шум

Пусть $y_{i} = f (x_{i}) + ε_{i}$ , где шум нормален со средним 0 и $σ^{2}$ . Тогда логарифм плотности одного наблюдения равен $- \frac{( y _{i} - f ( x _{i} ) ) ^{2}}{2 σ ^{2}}$ плюс константа. Суммируя по выборке и меняя знак, получаем ровно сумму квадратов ошибок. Отсюда практический вывод: применяя к данным с , вы утверждаете, что шум нормален, а он не нормален — и модель будет гнаться за .

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

L (θ) = i = 1 \prod n p (x_{i} ∣ θ), ℓ (θ) = i = 1 \sum n lo g p (x_{i} ∣ θ)

Обозначения

$θ$ параметры модели
$x$ значение случайной величины
$n$ число наблюдений или испытаний
$p$ вероятность события
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$\prod$ произведение по всем элементам

Логарифм превращает произведение в сумму: и численно устойчиво, и дифференцировать проще

Предположение о шуме	Что даёт MLE
Нормальный шум с постоянной	метод наименьших квадратов ()
Лапласовский шум	минимизация
Бернулли	, log-loss
Пуассон	пуассоновская регрессия для счётчиков

Отсюда практический вывод: выбор — это заявление о распределении шума. на данных с плоха не «эмпирически», а потому что предполагает нормальность, которой нет.

Состоятельность: с ростом выборки оценка сходится к истинному параметру.
Асимптотическая эффективность: достигает нижней границы Крамера — Рао, точнее оценить нельзя.
Смещение на малых выборках: классический пример — MLE делит на $n$ , а несмещённая оценка на $n - 1$ .
Переобучение: максимум на гибкой модели упирается в идеальную подгонку под данные — отсюда .

θ^_{MAP} = ar g θ max [lo g p (X ∣ θ) + lo g p (θ)]

Обозначения

$θ^$ оценка параметра по выборке
$θ$ параметры модели
$p$ вероятность события
$ar g min$ аргумент, при котором выражение минимально (или максимально)
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб

— то же плюс априорное распределение; L2-регуляризация есть в точности гауссов приор

Где применяется

Подгонка распределенияОценка параметров нормального, пуассоновского или экспоненциального распределения по выборке.
Обучение моделей, GLM, смеси гауссиан, — везде максимум .
Выбор Осознанный переход к или пуассоновской регрессии вместо по свойствам шума.
Сравнение моделейAIC и BIC строятся на достигнутом значении со штрафом за число параметров.

Плюсы, минусы и альтернативы

Плюсы

Универсальный рецепт: любое вероятностное предположение переводится в задачу оптимизации.
Асимптотически эффективен — точнее оценить параметр по этим данным нельзя.
Даёт не только оценку, но и её точность через информацию Фишера.

Минусы

Смещён на малых выборках: классический пример — оценка с делением на $n$ .
Чувствителен к неверному предположению о распределении: не тот шум — не та .
На гибких моделях максимум достигается , если нет .

Брать, если

Есть содержательное предположение о том, как порождены данные.
Нужна точечная оценка параметров и мера её точности.

Не брать, если

Важна полная неопределённость параметра — нужен , а не точка.
Выборка мала, а модель сложна: уйдёт в .

Чем заменяют

Bayesian InferenceактуальноБайесовский вывод · Теория вероятностей и распределенияНужна не точка, а распределение параметра с учётом априорных знаний.Variational InferenceактуальноВариационный вывод · Теория вероятностей и распределенияАпостериорное распределение нужно, но точно посчитать его нельзя.Loss functionsактуальноФункции потерь · Глубокое обучениеВопрос практический: какую взять для конкретной задачи.

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Теория вероятностей и распределения» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.