Momentum

Накопление экспоненциального среднего градиентов — движение по инерции сквозь колебания.

v_{k} = β v_{k - 1} + \nabla L (w_{k}), w_{k + 1} = w_{k} - η v_{k}

Что означает каждый компонент

$β v_{k - 1}$ накопленная инерция: сохраняем часть прошлого направления (обычно β = 0.9)
$\nabla L$ свежий градиент — поправка к накопленному направлению

Колебания поперёк оврага гасятся, движение вдоль дна накапливается

Ключевые тезисы

Ускоряет спуск по длинным пологим направлениям.
Типичное значение коэффициента — 0.9.
Nesterov momentum смотрит на шаг вперёд и точнее корректирует траекторию.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Как работает инерция

Накопление направления вместо реакции на каждый шаг.

v^{(k)} = β v^{(k - 1)} + \nabla L (w^{(k)}), w^{(k + 1)} = w^{(k)} - η v^{(k)}

Обозначения

$η$ скорость обучения — длина шага оптимизатора
$β$ коэффициент инерции (momentum): доля прошлого направления
$w$ веса модели — то, что подбирается при обучении
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$L$ функция потерь — то, что минимизируется при обучении
$\nabla$ градиент: вектор частных производных

Скользящее среднее градиентов гасит колебания поперёк оврага (там знаки чередуются и взаимно уничтожаются) и усиливает движение вдоль дна (там знаки совпадают и складываются). Эффективный шаг вдоль стабильного направления увеличивается примерно в $1/ (1 - β)$ раз.

Пример

При $β = 0.9$ инерция даёт ускорение примерно в 10 раз по сравнению с чистым SGD в направлении, где градиент стабилен.

методSGD

шагов сделано30

f(x, y)0.2153

‖(x, y)‖0.656

Оптимизатор

Скорость обучения0.060Число шагов30

Переключитесь на Momentum: зигзаг заменяется движением по дну оврага

Ускорение Нестерова

Смотрим вперёд, прежде чем считать градиент.

v^{(k)} = β v^{(k - 1)} + \nabla L (w^{(k)} - η β v^{(k - 1)})

Обозначения

$η$ скорость обучения — длина шага оптимизатора
$β$ коэффициент инерции (momentum): доля прошлого направления
$w$ веса модели — то, что подбирается при обучении
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$L$ функция потерь — то, что минимизируется при обучении
$\nabla$ градиент: вектор частных производных

Градиент берётся в точке, куда инерция уже принесёт

Это позволяет «притормозить» заранее, если впереди подъём. На практике даёт небольшое, но стабильное улучшение и стоит ровно столько же.

Связанные темы

Оптимизаторы

Ключевые тезисы

Подробный разбор

Как работает инерция

Ускорение Нестерова

Связанные темы

Optimization85%

Optimizers85%

Gradient Descent85%

SGD85%

Adam85%

AdamW85%

RMSProp85%

Learning Rate Scheduling85%

Batch size85%