Law of Large Numbers

Среднее по выборке сходится к математическому ожиданию при росте числа наблюдений.

X ˉ_{n};; P;; E [X]

Что означает каждый компонент

$X ˉ_{n}$ выборочное среднее: сумма n наблюдений, делённая на n
$P$ сходимость по вероятности: при росте n отклонение больше любого ε становится всё менее вероятным
$E [X]$ истинное математическое ожидание. У распределений без конечного среднего (Коши) сходимости нет

Формально: для любого ε > 0 вероятность |X̄ₙ − E[X]| > ε стремится к нулю

Ключевые тезисы

Обосновывает оценку метрик по тесту и работу метода Монте-Карло.
Не работает для распределений без конечного среднего (например, Коши).
Скорость сходимости описывает уже центральная предельная теорема.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Слабый и усиленный законы

Два вида сходимости — по вероятности и почти наверное.

слабый : X ˉ_{n} P μ, усиленный : P (n \to \infty lim X ˉ_{n} = μ) = 1

Обозначения

$μ$ среднее значение
$n$ число наблюдений или испытаний
$lim$ предел: к чему стремится выражение
$\to$ сходимость: выражение слева стремится к тому, что справа

На практике

Оба требуют существования конечного математического ожидания. У распределения Коши его нет: выборочное среднее не сходится вообще никуда, сколько бы данных вы ни собрали.

Монте-Карло и его точность

Практическое следствие закона.

ошибка \approx \frac{σ}{N}

Обозначения

$σ$ стандартное отклонение — разброс величины
$n$ число наблюдений или испытаний

Чтобы уменьшить ошибку вдвое, нужно вчетверо больше сэмплов. Отсюда вся индустрия методов снижения дисперсии: контрольные переменные, importance sampling, антитетические выборки.

Связанные темы

Предельные теоремы

Ключевые тезисы

Подробный разбор

Слабый и усиленный законы

Монте-Карло и его точность

Связанные темы

Central Limit Theorem80%

Heavy Tails80%

Series and Convergence80%

Limits and Continuity80%

Confidence intervals80%

Bootstrap80%

Statistics80%