Variance

Мера разброса значений вокруг среднего.

E [(y - f^)^{2}] = Bias^{2} + Var + σ^{2}

Что означает каждый компонент

$Bias^{2}$ систематическая ошибка: модель слишком проста для данных (лечится усложнением и бустингом)
$Var$ разброс: модель слишком чувствительна к конкретной выборке (лечится данными, регуляризацией, бэггингом)
$σ^{2}$ неустранимый шум данных — предел, ниже которого не опустится никакая модель

Ключевые тезисы

Var[X] = E[X²] − (E[X])².
Разложение ошибки на bias и variance — центральная идея ML.
Ансамблирование снижает именно .

Какую задачу решает

измеряет разброс величины вокруг среднего. В машинном обучении это понятие работает сразу в трёх разных ролях, и путать их не стоит: разброс в данных, разброс ошибки модели при смене , разброс предсказаний .

Самая содержательная роль — вторая. Разложение ошибки на смещение и объясняет, почему сложная модель может быть хуже простой: она слишком чувствительна к конкретной выборке. Всё семейство ансамблевых методов и вся занимаются ровно одним — снижением дисперсии ценой небольшого роста смещения.

Как поставить диагноз по двум числам

Обучающая метрика 0.98, валидационная 0.72 — высокая , модель запомнила выборку: нужны , больше данных или более простая модель. Обучающая 0.74, валидационная 0.72 — высокое смещение, модель недостаточно выразительна: нужны более сложная модель или лучшие . Обучающая 0.95, валидационная 0.93 — здоровая картина. Эти два числа стоит смотреть перед любыми другими действиями: они определяют направление работы, и половина времени в проектах тратится на лечение не того диагноза.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

E [(y - f^(x))^{2}] = (E [f^(x)] - f (x))^{2} + Var [f^(x)] + σ^{2}

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$Var$ дисперсия — мера разброса значений
$σ$ стандартное отклонение — разброс величины
$y$ истинное значение целевой переменной
$x$ вектор или точка пространства признаков
$f (x)$ функция, о которой идёт речь

Bias — систематическая ошибка: модель слишком проста для данных.
Variance — чувствительность к конкретной обучающей выборке.
$\sigma^2$ — неустранимый шум; ниже него не опустится никакая модель.

степень полинома3

ошибка на train0.568

ошибка на test0.395

диагнозбаланс

Сложность модели (степень)3Уровень шума0.35

Слева высокий bias, справа высокая variance — крайности одной шкалы сложности

Var [\frac{1}{m} i \sum a_{i}] = \frac{σ ^{2}}{m} + \frac{m - 1}{m} ρ σ^{2}

Обозначения

$Var$ дисперсия — мера разброса значений
$σ$ стандартное отклонение — разброс величины
$\sum$ суммирование по всем перечисленным элементам

При $ρ = 0$ падает в $m$ раз; при $ρ = 1$ не падает вовсе. Отсюда весь дизайн : , случайные подмножества , разные архитектуры и сиды — всё это способы уменьшить между моделями.

моделей в ансамбле5

MSE на обучении0.205

типбустинг (последовательно)

Ансамбль

Число базовых моделей5

Бэггинг усредняет независимые модели — сглаживание видно уже на нескольких пнях

Где применяется

Диагностика Большой разброс метрики между фолдами — высокой модели.
Проектирование Бэггинг снижает , — смещение. Выбор зависит от диагноза.
Оценка стабильностиРазброс результата между сидами показывает, значима ли разница между моделями.
с нулевой бесполезен: он константа.
экспериментов метрики определяет нужный размер выборки в A/B-тесте.

Плюсы, минусы и альтернативы

Плюсы

Даёт язык для разговора о и .
Прямо подсказывает, какое лечение нужно: больше данных, или более сложная модель.
Объясняет, почему работают .
Легко оценивается по .

Минусы

Чувствительна к выбросам из-за квадрата.
Измеряется в квадратах единиц — для интерпретации берут стандартное отклонение.
Разложение на смещение и строго определено только для квадратичной ошибки.
На практике разделить компоненты ошибки точно нельзя, можно только оценить.

Брать, если

Диагностируется причина плохого качества модели.
Сравниваются модели и нужно понять, значима ли разница.
Проектируется .

Не брать, если

Данные с : может быть огромной или вовсе не существовать — берите квантили.

Чем заменяют

OverfittingактуальноПереобучение · Практика MLДиагноз — высокая : нужен план действий.UnderfittingактуальноНедообучение · Практика MLДиагноз — высокое смещение.Random ForestактуальноСлучайный лес · Классическое машинное обучениеНужен пример метода, построенного на снижении .

Тема также относится к главам:Теория вероятностей и распределенияФундамент

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

6:46Advantage функция и baseline для снижения varianceОбучение с подкреплением · Лекция «Trust Region и Proximal Policy Optimization» · 3 ч 21 мин 59:27Проблема высокой дисперсии градиентовОбучение с подкреплением · Лекция «Policy-based методы (Policy Gradient)» · 3 ч 11 мин

Связанные темы

Ансамблирование · Переобучение и регуляризация · Вероятность и информация

Следующий шагДальше по связи: Random ForestБэггинг деревьев со случайными подвыборками объектов и признаков: усреднение резко снижает дисперсию.Перейти →

Глава «Математический справочник» последний раз правилась 26 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Random Forest97%

Stacking and Blending85%

Gradient Boosting85%

Cross-validation85%

Regularization80%

Weight Decay80%

Early Stopping80%

Overfitting80%

Underfitting80%

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Covariance70%

Entropy70%

KL Divergence70%

Cross-Entropy70%

Bayes Theorem70%

Naive Bayes70%

Log Loss70%

Формула

Смещение и дисперсия

Дисперсия модели

Усреднение снижает дисперсию

Корреляция ограничивает выигрыш

Variance

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Разложение ошибкиBias–variance как прямое следствие определений.

2Почему ансамбли работаютАрифметика снижения дисперсии.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Random Forest97%

Stacking and Blending85%

Gradient Boosting85%

Cross-validation85%

Regularization80%

Weight Decay80%

Early Stopping80%

Overfitting80%

Underfitting80%

Probability70%

Statistics70%

Information Theory70%

Probability Distribution70%

Expectation70%

Covariance70%

Entropy70%

KL Divergence70%

Cross-Entropy70%

Bayes Theorem70%

Naive Bayes70%

Log Loss70%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

Формула

Смещение и дисперсия

Дисперсия модели

Усреднение снижает дисперсию

Корреляция ограничивает выигрыш