Adam

Адаптивный метод: хранит средние и его квадрата, подбирая шаг для каждого параметра.

w_{t + 1} = w_{t} - η \frac{m ^ _{t}}{v ^ _{t} + ε}, m^_{t}, v^_{t}

Что означает каждый компонент

$m^/ v^$ адаптивный шаг: направление от инерции, масштаб — от типичной величины градиента
$m^_{t}$ скользящее среднее градиента (инерция), скорректированное на смещение первых шагов
$v^_{t}$ скользящее среднее квадрата градиента: большие градиенты уменьшают шаг, малые — увеличивают

Ключевые тезисы

Работает «из коробки» при lr ≈ 1e-3 почти на любой задаче.
Быстро сходится, но иногда обобщает хуже с .
Bias correction компенсирует смещение оценок на первых шагах.

Какую задачу решает

объединяет две независимые идеи. От он берёт скользящее среднее , которое задаёт направление и гасит шум. От RMSProp — скользящее среднее квадратов градиента, на корень из которого шаг делится: параметры с большими градиентами получают короткий шаг, с малыми — длинный.

В результате каждый параметр движется в своём темпе, и настраивать одну глобальную под самый капризный слой больше не нужно. Именно поэтому так прощает неточно подобранный $η$ и стал значением по умолчанию: он даёт разумный результат почти на любой задаче почти без настройки.

Зачем нужен warmup

На первом шаге $v_{1}$ оценивается по одному и может оказаться очень маленькой; деление на $v$ даёт огромный шаг, который выбрасывает веса далеко от разумной области. Коррекция смещения частично помогает, но при $β_{2} = 0.999$ оценка второго становится надёжной только через сотни шагов. Отсюда стандартный рецепт: линейный разогрев от нуля за 500–4000 шагов. На пропуск разогрева — самая частая причина того, что обучение расходится в первые минуты.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

m_{t} = β_{1} m_{t - 1} + (1 - β_{1}) g_{t}, v_{t} = β_{2} v_{t - 1} + (1 - β_{2}) g_{t}^{2}

m^_{t} = \frac{m _{t}}{1 - β _{1}^{t}}, v^_{t} = \frac{v _{t}}{1 - β _{2}^{t}}, w_{t + 1} = w_{t} - \frac{η m ^ _{t}}{v ^ _{t} + ε}

Обозначения

$η$ скорость обучения — длина шага оптимизатора
$β$ коэффициент инерции (momentum): доля прошлого направления
$ε$ малая величина: шум, допуск или защита от деления на ноль
$m^, v^$ скользящие средние градиента и его квадрата в адаптивных оптимизаторах
$w$ веса модели — то, что подбирается при обучении

$m$ — инерция (первый ), $v$ — масштаб (второй ).
Деление на $v$ делает шаг большим там, где малы, и наоборот — это лечит эффект оврага.
Bias correction нужен потому, что $m$ и $v$ инициализированы нулями и первые шаги были бы недооценены.
Дефолты: $β_{1} = 0.9$ , $β_{2} = 0.999$ , $ε = 1 0^{- 8}$ , $η = 1 0^{- 3}$ .

методSGD

шагов сделано30

f(x, y)0.2153

‖(x, y)‖0.656

Оптимизатор

Скорость обучения0.060Число шагов30

Adam выравнивает масштаб по осям — траектория идёт почти прямо к минимуму

В задачах компьютерного зрения с и хорошим расписанием часто даёт лучшее итоговое качество, хотя сходится медленнее. Одна из гипотез: адаптивный шаг приводит в более «острые» минимумы.

На практике

Память: хранит два состояния на каждый параметр. Для модели на 7 млрд параметров это ~56 ГБ в fp32 только под — отсюда 8-битные оптимизаторы и ZeRO-шардинг.

Где применяется

Значение по умолчаниюНовая задача, непонятная поверхность потерь, ограниченное время на настройку.
и NLPПрактически безальтернативен (в варианте ).
Разреженные Редко встречающиеся получают крупные шаги — важно для .
и другие нестандартные схемыАдаптивность помогает там, где масштаб непредсказуем.

Плюсы, минусы и альтернативы

Плюсы

Быстрая сходимость почти без настройки.
Устойчив к плохо подобранной .
Хорошо работает при разномасштабных параметрах и разреженных .
Значения по умолчанию ( $β_{1} = 0.9$ , $β_{2} = 0.999$ ) подходят подавляющему большинству задач.

Минусы

Хранит два состояния на параметр — памяти втрое больше, чем на веса.
Иногда обобщает хуже с .
в классическом работает неправильно — для этого есть .
Без разогрева способен сделать разрушительно большой шаг на старте.
Больше , чем у , хотя трогать их обычно не нужно.

Брать, если

Начинаете новую задачу и нужен разумный результат быстро.
Обучаете или модель с .
Времени на подбор мало.

Не брать, если

Классическая свёрточная задача с большим бюджетом эпох — сравните с + .
Память на пределе: два состояния на параметр могут не поместиться.
Нужен — берите , а не с $L_{2}$ .

Чем заменяют

AdamWактуальноAdamW · Оптимизация обученияНужна : в отделён от адаптивного масштаба и работает как задумано.SGDактуальноСтохастический градиентный спуск · Оптимизация обученияКлассическая свёрточная задача и цель — максимальное обобщение.RMSPropклассикаRMSProp · Оптимизация обученияНужна только адаптивность без инерции.

Тема также относится к главам:Глубокое обучениеОбучение

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Оптимизация обучения» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Глубокое обучение11 записей

Связанные темы

Оптимизаторы

Кому эта тема нужна

Профильная компетенция для ролей: ML Engineer, CV-инженер, Исследователь, Инженер речи.

Усиливает профиль: NLP-инженер.

Добавить в учебную программу

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Глубокое обучение24

Следующий шагПроверить себя: Глубокое обучениеТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →

Глава «Оптимизация обучения» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Optimization85%

Optimizers85%

Gradient Descent85%

SGD85%

Momentum85%

AdamW85%

RMSProp85%

Learning Rate Scheduling85%

Batch size85%

Первый момент $m_{t}$

Второй момент $v_{t}$

Коррекция смещения

$ε$

Обобщение хуже SGD

Adam

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Механика методаДва скользящих средних и адаптивный шаг для каждого параметра.

2Когда Adam хуже SGDБыстрая сходимость не равна лучшему обобщению.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Optimization85%

Optimizers85%

Gradient Descent85%

SGD85%

Momentum85%

AdamW85%

RMSProp85%

Learning Rate Scheduling85%

Batch size85%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

Первый момент mt​

Второй момент vt​

Коррекция смещения

ε

Обобщение хуже SGD

Первый момент $m_{t}$

Второй момент $v_{t}$

$ε$