Adam

Адаптивный метод: хранит средние градиента и его квадрата, подбирая шаг для каждого параметра.

w_{t + 1} = w_{t} - η \frac{m ^ _{t}}{v ^ _{t} + ε}, m^_{t}, v^_{t}

Что означает каждый компонент

$m^/ v^$ адаптивный шаг: направление от инерции, масштаб — от типичной величины градиента
$m^_{t}$ скользящее среднее градиента (инерция), скорректированное на смещение первых шагов
$v^_{t}$ скользящее среднее квадрата градиента: большие градиенты уменьшают шаг, малые — увеличивают

Ключевые тезисы

Работает «из коробки» при lr ≈ 1e-3 почти на любой задаче.
Быстро сходится, но иногда обобщает хуже SGD с momentum.
Bias correction компенсирует смещение оценок на первых шагах.

Тема также относится к главам:Глубокое обучениеОбучение

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Механика метода

Два скользящих средних и адаптивный шаг для каждого параметра.

m_{t} = β_{1} m_{t - 1} + (1 - β_{1}) g_{t}, v_{t} = β_{2} v_{t - 1} + (1 - β_{2}) g_{t}^{2}

m^_{t} = \frac{m _{t}}{1 - β _{1}^{t}}, v^_{t} = \frac{v _{t}}{1 - β _{2}^{t}}, w_{t + 1} = w_{t} - \frac{η m ^ _{t}}{v ^ _{t} + ε}

Обозначения

$η$ скорость обучения — длина шага оптимизатора
$β$ коэффициент инерции (momentum): доля прошлого направления
$ε$ малая величина: шум, допуск или защита от деления на ноль
$m^, v^$ скользящие средние градиента и его квадрата в адаптивных оптимизаторах
$w$ веса модели — то, что подбирается при обучении

$m$ — инерция (первый момент), $v$ — масштаб градиента (второй момент).
Деление на $v$ делает шаг большим там, где градиенты малы, и наоборот — это лечит эффект оврага.
Bias correction нужен потому, что $m$ и $v$ инициализированы нулями и первые шаги были бы недооценены.
Дефолты: $β_{1} = 0.9$ , $β_{2} = 0.999$ , $ε = 1 0^{- 8}$ , $η = 1 0^{- 3}$ .

методSGD

шагов сделано30

f(x, y)0.2153

‖(x, y)‖0.656

Оптимизатор

Скорость обучения0.060Число шагов30

Adam выравнивает масштаб по осям — траектория идёт почти прямо к минимуму

Когда Adam хуже SGD

Быстрая сходимость не равна лучшему обобщению.

В задачах компьютерного зрения SGD с momentum и хорошим расписанием часто даёт лучшее итоговое качество, хотя сходится медленнее. Одна из гипотез: адаптивный шаг приводит в более «острые» минимумы.

На практике

Память: Adam хранит два состояния на каждый параметр. Для модели на 7 млрд параметров это ~56 ГБ в fp32 только под оптимизатор — отсюда 8-битные оптимизаторы и ZeRO-шардинг.

Связанные темы

Оптимизаторы

Ключевые тезисы

Подробный разбор

Механика метода

Когда Adam хуже SGD

Связанные темы

Optimization85%

Optimizers85%

Gradient Descent85%

SGD85%

Momentum85%

AdamW85%

RMSProp85%

Learning Rate Scheduling85%

Batch size85%