Calculus

показывают, как изменится ошибка при малом изменении параметра. Именно это делает возможным обучение.

\frac{\partial L}{\partial w} = i \sum \frac{\partial L}{\partial y _{i}} \frac{\partial y _{i}}{\partial w}

Что означает каждый компонент

$\partial L / \partial w$ искомая чувствительность ошибки к весу
$\sum_{i}$ суммирование по всем путям, через которые вес влияет на ошибку
$\partial L / \partial y$ как ошибка зависит от выхода
$\partial y / \partial w$ как выход зависит от веса

Ключевые тезисы

— частных , указывающий направление наибыстрейшего роста функции.
Правило цепочки — основа ошибки в нейронных сетях.
Гессе описывает кривизну и объясняет, почему одни оптимизируются легко, а другие нет.

Подробный разбор

4 подтемы — объяснения, формулы, примеры и интерактивные графики.

f^{'} (x) = h \to 0 lim \frac{f ( x + h ) - f ( x )}{h}

Обозначения

$x$ объект или аргумент функции
$f (x)$ функция, о которой идёт речь
$lim$ предел: к чему стремится выражение
$\to$ сходимость: выражение слева стремится к тому, что справа

— предел отношения приращений: наклон касательной в точке

В машинном обучении $f$ — это , а $x$ — параметр модели. отвечает на вопрос: «если чуть увеличить вес, ошибка вырастет или упадёт, и насколько быстро?» Знак подсказывает направление, модуль — величину шага.

Пример

Пусть $L (w) = (w - 2)^{2} + 1$ . Тогда $L^{'} (w) = 2 (w - 2)$ . В точке $w = 5$ равна 6: ошибка растёт, надо двигаться влево. В точке $w = 2$ равна нулю — мы в минимуме.

шаг обучения η0.20

текущий x1.767

f(x)1.054

градиент-0.467

статусидёт

Скорость обучения η0.20Число шагов6Старт x₀-3.0

Двигайте скорость обучения: при малой η спуск медленный, при большой — перелёт через минимум и расходимость

Когда параметров много, берётся по каждому отдельно, остальные считаются константами. Собранные в , эти частные производные образуют .

\nabla f (x_{1}, \dots, x_{d}) = (\frac{\partial f}{\partial x _{1}}, \frac{\partial f}{\partial x _{2}}, \dots, \frac{\partial f}{\partial x _{d}})

Обозначения

$x$ объект или аргумент функции
$f (x)$ функция, о которой идёт речь
$\nabla$ градиент: вектор частных производных
$\partial$ частная производная — чувствительность к одному аргументу

Считаем руками

$f (x, y) = x y - 2 x + 1$ . Тогда $\partial f / \partial x = y - 2$ , $\partial f / \partial y = x$ . В точке $(1, 2)$ равен $(0, 1)$ : по $x$ функция локально не меняется, по $y$ растёт со скоростью 1.

Главное свойство: указывает направление наискорейшего роста функции. Значит, чтобы уменьшать ошибку, надо идти в противоположную сторону — отсюда минус в формуле $w \leftarrow w - η \nabla L$ .

\frac{\partial L}{\partial w} = \frac{\partial L}{\partial y} \cdot \frac{\partial y}{\partial z} \cdot \frac{\partial z}{\partial w}

Обозначения

$y$ истинное значение целевой переменной
$w$ веса модели — то, что подбирается при обучении
$L$ функция потерь либо рассматриваемая функция
$\partial$ частная производная — чувствительность к одному аргументу

композиции — произведение производных звеньев

— это композиция функций: вход → слой → → слой → потери. Чтобы узнать вклад веса из первого слоя, перемножаются вдоль всего пути. Прямой проход запоминает промежуточные значения, обратный — перемножает локальные производные, идя справа налево.

Если множители в среднем меньше единицы — затухает, ранние слои почти не учатся.
Если больше единицы — взрывается, веса улетают в NaN; лечится обрезкой (clipping).
Скип-связи ResNet добавляют путь с , равной единице: доходит до начала сети без затухания.

говорит о наклоне, — вторых — о кривизне. Если поверхность потерь вытянута как узкий овраг, шаг, подходящий для одной оси, будет слишком большим для другой: спуск начинает зигзагом биться о стенки.

H = \frac{\partial ^{2} f}{\partial x ^{2}} \frac{\partial ^{2} f}{\partial y \partial x} \frac{\partial ^{2} f}{\partial x \partial y} \frac{\partial ^{2} f}{\partial y ^{2}}

Обозначения

$y$ истинное значение целевой переменной
$x$ объект или аргумент функции
$\partial$ частная производная — чувствительность к одному аргументу

На практике

Адаптивные (, RMSProp) — дешёвая замена методам второго порядка: они не считают , но подбирают свой масштаб шага для каждого параметра, что и лечит эффект оврага.

методSGD

шагов сделано30

f(x, y)0.2153

‖(x, y)‖0.656

Оптимизатор

Скорость обучения0.060Число шагов30

Один и тот же овраг: SGD зигзагует, momentum разгоняется вдоль дна, Adam выравнивает масштаб по осям

Тема также относится к главам:Математический анализОсновы

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Основы» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Математика для ML14 записей

Связанные темы

Аппарат анализа · Градиенты и производные

Следующий шагДальше по связи: GradientВектор частных производных, указывающий направление наибыстрейшего роста функции.Перейти →

Глава «Основы» последний раз правилась 26 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Подробный разбор

Видеолекции

Связанные темы

Gradient97%

Hessian97%

Backpropagation97%

Limits and Continuity85%

Derivative85%

Differentiation Rules85%

Taylor Series85%

Multivariable Calculus85%

Jacobian85%

Lagrange Multipliers85%

Convexity85%

Numerical Differentiation85%

Series and Convergence85%

Integral85%

Differential Equations85%

Gradient Descent80%

Numerical Methods80%

Calculus

Ключевые тезисы

Подробный разбор

1Производная: скорость изменения ошибкиЧто именно измеряет производная и почему без неё нельзя обучать модель.

2Частные производные и градиентПереход от одной переменной к миллиардам параметров.

3Правило цепочки — двигатель обратного распространенияКак посчитать градиент по весу, который спрятан за десятком слоёв.

4Вторая производная и кривизнаПочему одни функции оптимизируются за десять шагов, а другие за десять тысяч.

Видеолекции

Связанные темы

Gradient97%

Hessian97%

Backpropagation97%

Limits and Continuity85%

Derivative85%

Differentiation Rules85%

Taylor Series85%

Multivariable Calculus85%

Jacobian85%

Lagrange Multipliers85%

Convexity85%

Numerical Differentiation85%

Series and Convergence85%

Integral85%

Differential Equations85%

Gradient Descent80%

Numerical Methods80%