Momentum

Накопление экспоненциального среднего — движение по инерции сквозь колебания.

v_{k} = β v_{k - 1} + \nabla L (w_{k}), w_{k + 1} = w_{k} - η v_{k}

Что означает каждый компонент

$β v_{k - 1}$ накопленная инерция: сохраняем часть прошлого направления (обычно β = 0.9)
$\nabla L$ свежий градиент — поправка к накопленному направлению

Колебания поперёк оврага гасятся, движение вдоль дна накапливается

Ключевые тезисы

Ускоряет спуск по длинным пологим направлениям.
Типичное значение коэффициента — 0.9.
Nesterov смотрит на шаг вперёд и точнее корректирует траекторию.

Какую задачу решает

редко похожа на чашу: чаще это вытянутый овраг, где поперёк склоны крутые, а вдоль — пологий спуск ко дну. Чистый спуск на такой поверхности прыгает со склона на склон и продвигается вдоль оврага крошечными шагами.

добавляет инерцию: шаг делается не по текущему , а по его скользящему среднему. Поперечные компоненты на соседних шагах смотрят в разные стороны и гасят друг друга, продольная компонента везде одинакова и накапливается. Движение выпрямляется вдоль дна оврага, а заодно сглаживается шум мини-батчей.

Насколько ускоряет инерция

При $β = 0.9$ и постоянном $g$ скорость сходится к $v = g / (1 - β) = 10 g$ — эффективный шаг в десять раз длиннее. Именно поэтому при добавлении обычно приходится уменьшать: если раньше работало $η = 0.1$ , с 0.9 разумно начать с $η = 0.01$ . Забывают об этом часто, и обучение расходится сразу после включения инерции — а причина не в , а в том, что фактическая длина шага выросла на порядок.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

v^{(k)} = β v^{(k - 1)} + \nabla L (w^{(k)}), w^{(k + 1)} = w^{(k)} - η v^{(k)}

Обозначения

$η$ скорость обучения — длина шага оптимизатора
$β$ коэффициент инерции (momentum): доля прошлого направления
$w$ веса модели — то, что подбирается при обучении
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$L$ функция потерь — то, что минимизируется при обучении
$\nabla$ градиент: вектор частных производных

Скользящее среднее гасит колебания поперёк оврага (там знаки чередуются и взаимно уничтожаются) и усиливает движение вдоль дна (там знаки совпадают и складываются). Эффективный шаг вдоль стабильного направления увеличивается примерно в $1/ (1 - β)$ раз.

Пример

При $β = 0.9$ инерция даёт ускорение примерно в 10 раз по сравнению с чистым в направлении, где стабилен.

методSGD

шагов сделано30

f(x, y)0.2153

‖(x, y)‖0.656

Оптимизатор

Скорость обучения0.060Число шагов30

Переключитесь на Momentum: зигзаг заменяется движением по дну оврага

v^{(k)} = β v^{(k - 1)} + \nabla L (w^{(k)} - η β v^{(k - 1)})

Обозначения

$η$ скорость обучения — длина шага оптимизатора
$β$ коэффициент инерции (momentum): доля прошлого направления
$w$ веса модели — то, что подбирается при обучении
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$L$ функция потерь — то, что минимизируется при обучении
$\nabla$ градиент: вектор частных производных

берётся в точке, куда инерция уже принесёт

Это позволяет «притормозить» заранее, если впереди подъём. На практике даёт небольшое, но стабильное улучшение и стоит ровно столько же.

Где применяется

Обучение с 0.9 — классический и до сих пор конкурентоспособный рецепт.
Овражные Везде, где кривизна сильно различается по направлениям.
Составная часть Первый в — это тот же momentum.

Плюсы, минусы и альтернативы

Плюсы

Ускоряет движение по устойчивому направлению в разы.
Гасит колебания поперёк оврага.
Сглаживает шум мини-батчей.
Один понятный параметр, значение по умолчанию 0.9 работает почти всегда.
Помогает проскакивать мелкие локальные ямы и плато.

Минусы

Может перелетать минимум по инерции.
Хранит дополнительное состояние размером с параметры.
Не решает проблему разномасштабных параметров — для этого нужна адаптивность.
Слишком большой $β$ (0.99+) делает обучение вялым и трудно управляемым.

Брать, если

Используете — добавляется практически всегда.
Траектория обучения выглядит колебательной.

Не брать, если

Уже используете — там внутри, отдельно добавлять нечего.

Чем заменяют

AdamактуальноAdam · Оптимизация обученияНужна ещё и адаптивность по параметрам, а не только инерция.RMSPropклассикаRMSProp · Оптимизация обученияПроблема именно в разном масштабе , а не в колебаниях.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

1:05Определение момента остановки приложенияБольшие данные · Семинар «Spark Streaming завершение» · 40 мин

Связанные темы

Оптимизаторы

Следующий шагДальше по связи: OptimizationПоиск параметров, минимизирующих функцию потерь. Свойства задачи — выпуклость, гладкость, обусловленность — определяют, насколько это просто.Перейти →

Глава «Оптимизация обучения» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Optimization85%

Optimizers85%

Gradient Descent85%

SGD85%

Adam85%

AdamW85%

RMSProp85%

Learning Rate Scheduling85%

Batch size85%

Скорость (velocity)

Коэффициент $β$

Nesterov

Гашение колебаний

Momentum

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Как работает инерцияНакопление направления вместо реакции на каждый шаг.

2Ускорение НестероваСмотрим вперёд, прежде чем считать градиент.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Optimization85%

Optimizers85%

Gradient Descent85%

SGD85%

Adam85%

AdamW85%

RMSProp85%

Learning Rate Scheduling85%

Batch size85%

Ключевые понятия4 определения из текста — каждое со ссылкой на разбор

Скорость (velocity)

Коэффициент β

Nesterov

Гашение колебаний

Коэффициент $β$