Law of Large Numbers

Среднее по выборке сходится к математическому ожиданию при росте числа наблюдений.

X ˉ_{n} P E [X]

Что означает каждый компонент

$X ˉ_{n}$ выборочное среднее: сумма n наблюдений, делённая на n
$P$ сходимость по вероятности: при росте n отклонение больше любого ε становится всё менее вероятным
$E [X]$ истинное математическое ожидание. У распределений без конечного среднего (Коши) сходимости нет

Формально: для любого ε > 0 вероятность |X̄ₙ − E[X]| > ε стремится к нулю

Ключевые тезисы

Обосновывает оценку метрик по тесту и работу метода Монте-Карло.
Не работает для распределений без конечного среднего (например, Коши).
Скорость сходимости описывает уже .

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

слабый : X ˉ_{n} P μ, усиленный : P (n \to \infty lim X ˉ_{n} = μ) = 1

Обозначения

$μ$ среднее значение
$n$ число наблюдений или испытаний
$lim$ предел: к чему стремится выражение
$\to$ сходимость: выражение слева стремится к тому, что справа

На практике

Оба требуют существования конечного . У распределения Коши его нет: выборочное среднее не сходится вообще никуда, сколько бы данных вы ни собрали.

ошибка \approx \frac{σ}{N}

Обозначения

$σ$ стандартное отклонение — разброс величины
$n$ число наблюдений или испытаний

Чтобы уменьшить ошибку вдвое, нужно вчетверо больше сэмплов. Отсюда вся индустрия методов снижения : контрольные переменные, , антитетические выборки.

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Теория вероятностей и распределения» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Математика для ML14 записей

Связанные темы

Предельные теоремы

Central Limit Theorem80%

Центральная предельная теорема · Теория вероятностей и распределения

Сумма большого числа независимых слагаемых со сравнимым вкладом распределена приближённо нормально.

Heavy Tails80%

Тяжёлые хвосты · Теория вероятностей и распределения

Распределения, у которых экстремальные значения не являются пренебрежимо редкими. Именно они ломают привычные оценки и метрики.

Series and Convergence80%

Ряды и сходимость · Математический анализ

Когда бесконечная сумма имеет конечное значение и с какой скоростью алгоритм приближается к ответу.

Limits and Continuity80%

Пределы и непрерывность · Математический анализ

Предел описывает, к чему стремится функция вблизи точки. На этом понятии держатся производная, интеграл и вся теория сходимости алгоритмов.

Confidence intervals80%

Доверительные интервалы · Оценка моделей

Показывают точность оценки метрики; одно число без интервала мало о чём говорит.

Bootstrap80%

Бутстрэп · Оценка моделей

Многократная выборка с возвращением: даёт распределение метрики и доверительные интервалы без предположений о нормальности.

Statistics80%

Статистика · Основы

Как от выборки перейти к выводам о генеральной совокупности: оценки, доверительные интервалы и проверка гипотез.

Следующий шагДальше по связи: Central Limit TheoremСумма большого числа независимых слагаемых со сравнимым вкладом распределена приближённо нормально.Перейти →

Глава «Теория вероятностей и распределения» последний раз правилась 26 августа 2026 г.. Нашли ошибку — напишите.