Gradient Descent

Итеративный шаг против градиента функции потерь — базовый алгоритм обучения.

w_{k + 1} = w_{k} - η \nabla L (w_{k})

Что означает каждый компонент

$w_{k + 1}$ новые веса после шага
$w_{k}$ текущие веса
$η$ скорость обучения: длина шага. Слишком большая — расходимость, слишком малая — вечное обучение
$\nabla L$ градиент функции потерь — направление её наискорейшего роста; минус перед ним разворачивает шаг вниз

Ключевые тезисы

Полный батч даёт точный градиент, но одну итерацию на проход по данным.
Шаг обучения определяет, сойдётся процесс или разойдётся.
В невыпуклом ландшафте находит локальный минимум — и этого обычно достаточно.

Тема также относится к главам:ОсновыОптимизация и вычисления Математический анализПрименение в ML

Подробный разбор

3 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Идея и три способа минимизировать функцию

Перебор, аналитика, численный спуск — и почему в ML выбирают третье.

Обучение модели — это поиск параметров, минимизирующих функцию ошибки. Способов три: перебрать значения (невозможно при $d > 3$ ), решить аналитически (не всегда существует) или спускаться численно.

w^{(k + 1)} = w^{(k)} - η \nabla L (w^{(k)})

Обозначения

$η$ скорость обучения — длина шага оптимизатора
$w$ веса модели — то, что подбирается при обучении
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$L$ функция потерь — то, что минимизируется при обучении
$\nabla$ градиент: вектор частных производных

Аналогия: вы стоите в тумане на склоне и хотите спуститься. Видите только уклон под ногами — идёте в сторону наибольшего спуска, делаете шаг, снова смотрите. Размер шага и есть learning rate.

шаг обучения η0.20

текущий x1.767

f(x)1.054

градиент-0.467

статусидёт

Скорость обучения η0.20Число шагов6Старт x₀-3.0

Слишком малое η — сотни шагов; слишком большое — перелёт и расходимость. Попробуйте η = 1.05

Вывод градиента для MSE

Полный расчёт, который лежит в основе обучения линейной регрессии.

L (w) = \frac{1}{n} i = 1 \sum n (w^{⊤} x_{i} - y_{i})^{2}

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$n$ число объектов в выборке
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$x^{⊤}$ транспонирование: строка вместо столбца

\frac{\partial L}{\partial w _{j}} = \frac{2}{n} i = 1 \sum n (w^{⊤} x_{i} - y_{i}) x_{ij}

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$n$ число объектов в выборке
$L$ функция потерь — то, что минимизируется при обучении
$\sum$ суммирование по всем перечисленным элементам
$\partial$ частная производная — чувствительность к одному аргументу

Производная сложной функции: внешняя — квадрат, внутренняя — линейная по

w_{j}

\nabla L = \frac{2}{n} X^{⊤} (X w - y)

Обозначения

$y$ истинное значение целевой переменной
$n$ число объектов в выборке
$L$ функция потерь — то, что минимизируется при обучении
$\nabla$ градиент: вектор частных производных
$x^{⊤}$ транспонирование: строка вместо столбца

Векторная запись: одно матричное умножение вместо цикла

Зарплата по стажу и часам

Признаки $x = (стаж, часы)$ , текущие веса дают предсказание 60 000 при факте 75 000. Ошибка $- 15000$ умножается на каждый признак: вес при стаже сдвигается сильнее, если стаж у объекта большой.

Learning rate: главный гиперпараметр

Три режима поведения и как их распознать по кривой обучения.

Симптом на кривой потерь	Диагноз	Действие
падает очень медленно, почти прямая	η слишком мало	увеличить в 3–10 раз
падает, потом скачет вокруг уровня	η великовато для финальной стадии	добавить расписание затухания
растёт или уходит в NaN	η слишком велико	уменьшить на порядок, добавить warmup

На практике

Практика: запускайте короткий «LR range test» — обучение с экспоненциально растущим шагом. Точка, где потери начинают расти, задаёт верхнюю границу; берут примерно вдесятеро меньше.

Связанные темы

Оптимизаторы · Градиенты и производные

Ключевые тезисы

Подробный разбор

Идея и три способа минимизировать функцию

Вывод градиента для MSE

Learning rate: главный гиперпараметр

Связанные темы

Optimization85%

Optimizers85%

SGD85%

Momentum85%

Adam85%

AdamW85%

RMSProp85%

Learning Rate Scheduling85%

Batch size85%

Calculus80%

Gradient80%

Hessian80%

Backpropagation80%

Numerical Methods80%