Gradient Descent

Итеративный шаг против — базовый алгоритм обучения.

w_{k + 1} = w_{k} - η \nabla L (w_{k})

Что означает каждый компонент

$w_{k + 1}$ новые веса после шага
$w_{k}$ текущие веса
$η$ скорость обучения: длина шага. Слишком большая — расходимость, слишком малая — вечное обучение
$\nabla L$ градиент функции потерь — направление её наискорейшего роста; минус перед ним разворачивает шаг вниз

Ключевые тезисы

Полный даёт точный , но одну итерацию на проход по данным.
Шаг обучения определяет, сойдётся процесс или разойдётся.
В невыпуклом ландшафте находит локальный минимум — и этого обычно достаточно.

Какую задачу решает

Обучение почти любой модели — это поиск минимума по параметрам. Аналитически он берётся только в редких случаях вроде ; в остальных приходится идти к минимуму итеративно. спуск делает это самым прямым способом: считает направление наискорейшего роста и шагает против него.

Вся конструкция держится на одном числе — длине шага. Слишком маленький шаг означает тысячи итераций до сходимости, слишком большой — перелёт через минимум и расходимость. Все более сложные , от до , решают именно эту проблему: как выбрать длину шага автоматически и по-разному для разных параметров.

Что происходит при разной скорости обучения

Функция $f (w) = w^{2}$ , старт $w = 10$ . При $η = 0.1$ : шаги 10 → 8 → 6.4 → … — плавная сходимость. При $η = 0.9$ : 10 → −8 → 6.4 → −5.1 — колебания вокруг минимума, но амплитуда падает, сходимость есть. При $η = 1.1$ : 10 → −12 → 14.4 — амплитуда растёт, процесс расходится. Граница здесь $η = 1/ L$ , где $L$ — кривизна функции. У кривизна разная в разных направлениях и меняется по ходу обучения — отсюда и вся индустрия адаптивных и расписаний.

Подробный разбор

3 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обучение модели — это поиск параметров, минимизирующих функцию ошибки. Способов три: перебрать значения (невозможно при $d > 3$ ), решить аналитически (не всегда существует) или спускаться численно.

w^{(k + 1)} = w^{(k)} - η \nabla L (w^{(k)})

Обозначения

$η$ скорость обучения — длина шага оптимизатора
$w$ веса модели — то, что подбирается при обучении
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$L$ функция потерь — то, что минимизируется при обучении
$\nabla$ градиент: вектор частных производных

Аналогия: вы стоите в тумане на склоне и хотите спуститься. Видите только уклон под ногами — идёте в сторону наибольшего спуска, делаете шаг, снова смотрите. Размер шага и есть .

шаг обучения η0.20

текущий x1.767

f(x)1.054

градиент-0.467

статусидёт

Скорость обучения η0.20Число шагов6Старт x₀-3.0

Слишком малое η — сотни шагов; слишком большое — перелёт и расходимость. Попробуйте η = 1.05

L (w) = \frac{1}{n} i = 1 \sum n (w^{⊤} x_{i} - y_{i})^{2}

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$n$ число объектов в выборке
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$x^{⊤}$ транспонирование: строка вместо столбца

\frac{\partial L}{\partial w _{j}} = \frac{2}{n} i = 1 \sum n (w^{⊤} x_{i} - y_{i}) x_{ij}

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$n$ число объектов в выборке
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$\partial$ частная производная — чувствительность к одному аргументу

сложной функции: внешняя — квадрат, внутренняя — линейная по

w_{j}

\nabla L = \frac{2}{n} X^{⊤} (X w - y)

Обозначения

$y$ истинное значение целевой переменной
$n$ число объектов в выборке
$L$ функция потерь — то, что минимизируется при обучении
$\nabla$ градиент: вектор частных производных
$x^{⊤}$ транспонирование: строка вместо столбца

запись: одно матричное умножение вместо цикла

Зарплата по стажу и часам

$x = (стаж, часы)$ , текущие веса дают предсказание 60 000 при факте 75 000. Ошибка $- 15000$ умножается на каждый : вес при стаже сдвигается сильнее, если стаж у объекта большой.

Симптом на кривой потерь	Диагноз	Действие
падает очень медленно, почти прямая	η слишком мало	увеличить в 3–10 раз
падает, потом скачет вокруг уровня	η великовато для финальной стадии	добавить расписание затухания
растёт или уходит в NaN	η слишком велико	уменьшить на порядок, добавить warmup

На практике

Практика: запускайте короткий «LR range test» — обучение с экспоненциально растущим шагом. Точка, где потери начинают расти, задаёт верхнюю границу; берут примерно вдесятеро меньше.

Где применяется

Обучение Основа всего: любой — это надстройка над спуском.
Линейные модели с и Lasso обучаются градиентными методами.
Оптимизация входаВеса заморожены, обучается сам вход: , перенос стиля, инверсия .
Общие задачи оптимизацииЛюбая дифференцируемая функция — от подбора физических параметров до моделей.

Плюсы, минусы и альтернативы

Плюсы

Работает для любой дифференцируемой функции произвольной сложности.
Память $O (d)$ : не требует хранить вторых .
Прозрачная механика — легко понять, что происходит, и отладить.
Основа, поверх которой строится всё семейство современных .

Минусы

Сходится к локальному минимуму, а не к глобальному.
Крайне чувствителен к .
Медленно движется в вытянутых оврагах — зигзагом вместо прямой.
Полный по всей выборке слишком дорог на больших данных.
Останавливается на плато, где почти нулевой.

Брать, если

Функция дифференцируема, а параметров много.
Нужно понять базовый механизм перед переходом к и его родне.

Не брать, если

Функция недифференцируема или доступна как чёрный ящик — берите байесовскую оптимизацию.
Задача и мала: аналитическое решение или метод Ньютона будут точнее и быстрее.

Чем заменяют

SGDактуальноСтохастический градиентный спуск · Оптимизация обученияДанных много: полный считать слишком дорого.AdamактуальноAdam · Оптимизация обученияНужен рабочий инструмент, а не базовый механизм.Bayesian OptimizationактуальноБайесовская оптимизация · Практика MLФункция недифференцируема или каждое вычисление стоит дорого.

Тема также относится к главам:ОсновыОптимизация и вычисления Математический анализПрименение в ML

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

2:52:20Оптимизация текстуры с помощью градиентного спускаКомпьютерное зрение 3D · Лекция «Компьютерная графика и рендеринг» · 2 ч 56 мин

Связанные темы

Оптимизаторы · Градиенты и производные

Кому эта тема нужна

Спрашивают на собеседовании: X5 Tech — Цены и промо, Северсталь — Оптимизация производства.

Добавить в учебную программу

Следующий шагДальше по связи: OptimizationПоиск параметров, минимизирующих функцию потерь. Свойства задачи — выпуклость, гладкость, обусловленность — определяют, насколько это просто.Перейти →

Глава «Оптимизация обучения» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Optimization85%

Optimizers85%

SGD85%

Momentum85%

Adam85%

AdamW85%

RMSProp85%

Learning Rate Scheduling85%

Batch size85%

Calculus80%

Gradient80%

Hessian80%

Backpropagation80%

Numerical Methods80%

Градиент

Скорость обучения $η$

Сходимость

Локальный минимум

Полный батч

Gradient Descent

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Идея и три способа минимизировать функциюПеребор, аналитика, численный спуск — и почему в ML выбирают третье.

2Вывод градиента для MSEПолный расчёт, который лежит в основе обучения линейной регрессии.

3Learning rate: главный гиперпараметрТри режима поведения и как их распознать по кривой обучения.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

Optimization85%

Optimizers85%

SGD85%

Momentum85%

Adam85%

AdamW85%

RMSProp85%

Learning Rate Scheduling85%

Batch size85%

Calculus80%

Gradient80%

Hessian80%

Backpropagation80%

Numerical Methods80%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

Градиент

Скорость обучения η

Сходимость

Локальный минимум

Полный батч

Скорость обучения $η$