Differentiation Rules

Сумма, произведение, частное и композиция — четыре правила, которых достаточно, чтобы продифференцировать почти любую функцию потерь вручную.

(f \circ g)^{'} (x) = f^{'} (g (x)) g^{'} (x)

Ключевые тезисы

Правило цепочки — основа обратного распространения ошибки.
Производная произведения объясняет, почему вентили LSTM дают аддитивный путь для градиента.
Логарифмическое дифференцирование упрощает производные произведений вероятностей.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Четыре правила

Всё, что нужно для ручного вывода градиента.

(f g)^{'} = f^{'} g + f g^{'}, (\frac{f}{g})^{'} = \frac{f ^{'} g - f g ^{'}}{g ^{2}}, (f \circ g)^{'} = f^{'} (g) g^{'}

Вывод производной сигмоиды

$σ (x) = (1 + e^{- x})^{- 1}$ . По правилу цепочки $σ^{'} (x) = σ (x) (1 - σ (x))$ — красивая формула, из-за которой градиент логистической регрессии выглядит так просто.

Матричное дифференцирование

Производные по векторам и матрицам.

Выражение	Производная по $w$
$a^{⊤} w$	$a$
$w^{⊤} A w$	$(A + A^{⊤}) w$
$∥ X w - y ∥^{2}$	$2 X^{⊤} (X w - y)$
$lo g det (W)$	$(W^{- 1})^{⊤}$

На практике

Проверяйте размерности: производная скаляра по вектору — вектор той же длины. Это простое правило ловит большинство ошибок в выкладках.

Связанные темы

Аппарат анализа

Ключевые тезисы

Подробный разбор

Четыре правила

Матричное дифференцирование

Связанные темы

Limits and Continuity85%

Derivative85%

Taylor Series85%

Multivariable Calculus85%

Jacobian85%

Lagrange Multipliers85%

Convexity85%

Numerical Differentiation85%

Series and Convergence85%

Integral85%

Differential Equations85%

Calculus85%

Gradient85%

Hessian85%

Backpropagation85%