Calculus

Производные показывают, как изменится ошибка при малом изменении параметра. Именно это делает возможным градиентное обучение.

\frac{\partial L}{\partial w} = i \sum \frac{\partial L}{\partial y _{i}} \frac{\partial y _{i}}{\partial w}

Что означает каждый компонент

$\partial L / \partial w$ искомая чувствительность ошибки к весу
$\sum_{i}$ суммирование по всем путям, через которые вес влияет на ошибку
$\partial L / \partial y$ как ошибка зависит от выхода
$\partial y / \partial w$ как выход зависит от веса

Ключевые тезисы

Градиент — вектор частных производных, указывающий направление наибыстрейшего роста функции.
Правило цепочки — основа обратного распространения ошибки в нейронных сетях.
Матрица Гессе описывает кривизну и объясняет, почему одни функции потерь оптимизируются легко, а другие нет.

Тема также относится к главам:Математический анализОсновы

Подробный разбор

4 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Производная: скорость изменения ошибки

Что именно измеряет производная и почему без неё нельзя обучать модель.

f^{'} (x) = h \to 0 lim \frac{f ( x + h ) - f ( x )}{h}

Обозначения

$x$ объект или аргумент функции
$f (x)$ функция, о которой идёт речь
$lim$ предел: к чему стремится выражение
$\to$ сходимость: выражение слева стремится к тому, что справа

Производная — предел отношения приращений: наклон касательной в точке

В машинном обучении $f$ — это функция потерь, а $x$ — параметр модели. Производная отвечает на вопрос: «если чуть увеличить вес, ошибка вырастет или упадёт, и насколько быстро?» Знак подсказывает направление, модуль — величину шага.

Пример

Пусть $L (w) = (w - 2)^{2} + 1$ . Тогда $L^{'} (w) = 2 (w - 2)$ . В точке $w = 5$ производная равна 6: ошибка растёт, надо двигаться влево. В точке $w = 2$ производная равна нулю — мы в минимуме.

шаг обучения η0.20

текущий x1.767

f(x)1.054

градиент-0.467

статусидёт

Скорость обучения η0.20Число шагов6Старт x₀-3.0

Двигайте скорость обучения: при малой η спуск медленный, при большой — перелёт через минимум и расходимость

Частные производные и градиент

Переход от одной переменной к миллиардам параметров.

Когда параметров много, производная берётся по каждому отдельно, остальные считаются константами. Собранные в вектор, эти частные производные образуют градиент.

\nabla f (x_{1}, \dots, x_{d}) = (\frac{\partial f}{\partial x _{1}}, \frac{\partial f}{\partial x _{2}}, \dots, \frac{\partial f}{\partial x _{d}})

Обозначения

$x$ объект или аргумент функции
$f (x)$ функция, о которой идёт речь
$\nabla$ градиент: вектор частных производных
$\partial$ частная производная — чувствительность к одному аргументу

Считаем руками

$f (x, y) = x y - 2 x + 1$ . Тогда $\partial f / \partial x = y - 2$ , $\partial f / \partial y = x$ . В точке $(1, 2)$ градиент равен $(0, 1)$ : по $x$ функция локально не меняется, по $y$ растёт со скоростью 1.

Главное свойство: градиент указывает направление наискорейшего роста функции. Значит, чтобы уменьшать ошибку, надо идти в противоположную сторону — отсюда минус в формуле градиентного спуска $w \leftarrow w - η \nabla L$ .

Правило цепочки — двигатель обратного распространения

Как посчитать градиент по весу, который спрятан за десятком слоёв.

\frac{\partial L}{\partial w} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial z} \cdot \frac{\partial z}{\partial w}

Обозначения

$y$ истинное значение целевой переменной
$w$ веса модели — то, что подбирается при обучении
$L$ функция потерь либо рассматриваемая функция
$\partial$ частная производная — чувствительность к одному аргументу

Производная композиции — произведение производных звеньев

Нейросеть — это композиция функций: вход → слой → активация → слой → потери. Чтобы узнать вклад веса из первого слоя, производные перемножаются вдоль всего пути. Прямой проход запоминает промежуточные значения, обратный — перемножает локальные производные, идя справа налево.

Если множители в среднем меньше единицы — градиент затухает, ранние слои почти не учатся.
Если больше единицы — градиент взрывается, веса улетают в NaN; лечится обрезкой нормы градиента (clipping).
Скип-связи ResNet добавляют путь с производной, равной единице: градиент доходит до начала сети без затухания.

Вторая производная и кривизна

Почему одни функции оптимизируются за десять шагов, а другие за десять тысяч.

Градиент говорит о наклоне, гессиан — матрица вторых производных — о кривизне. Если поверхность потерь вытянута как узкий овраг, шаг, подходящий для одной оси, будет слишком большим для другой: спуск начинает зигзагом биться о стенки.

H = \frac{\partial ^{2} f}{\partial x ^{2}} \frac{\partial ^{2} f}{\partial y \partial x} \frac{\partial ^{2} f}{\partial x \partial y} \frac{\partial ^{2} f}{\partial y ^{2}}

Обозначения

$y$ истинное значение целевой переменной
$x$ объект или аргумент функции
$\partial$ частная производная — чувствительность к одному аргументу

На практике

Адаптивные оптимизаторы (Adam, RMSProp) — дешёвая замена методам второго порядка: они не считают гессиан, но подбирают свой масштаб шага для каждого параметра, что и лечит эффект оврага.

методSGD

шагов сделано30

f(x, y)0.2153

‖(x, y)‖0.656

Оптимизатор

Скорость обучения0.060Число шагов30

Один и тот же овраг: SGD зигзагует, momentum разгоняется вдоль дна, Adam выравнивает масштаб по осям

Связанные темы

Аппарат анализа · Градиенты и производные

Ключевые тезисы

Подробный разбор

Производная: скорость изменения ошибки

Частные производные и градиент

Правило цепочки — двигатель обратного распространения

Вторая производная и кривизна

Связанные темы

Gradient97%

Hessian97%

Backpropagation97%

Limits and Continuity85%

Derivative85%

Differentiation Rules85%

Taylor Series85%

Multivariable Calculus85%

Jacobian85%

Lagrange Multipliers85%

Convexity85%

Numerical Differentiation85%

Series and Convergence85%

Integral85%

Differential Equations85%

Gradient Descent80%

Numerical Methods80%