Differentiation Rules

Сумма, произведение, частное и композиция — четыре правила, которых достаточно, чтобы продифференцировать почти любую вручную.

(f \circ g)^{'} (x) = f^{'} (g (x)) g^{'} (x)

Ключевые тезисы

Правило цепочки — основа ошибки.
произведения объясняет, почему вентили дают аддитивный путь для .
Логарифмическое дифференцирование упрощает произведений вероятностей.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

(f g)^{'} = f^{'} g + f g^{'}, (\frac{f}{g})^{'} = \frac{f ^{'} g - f g ^{'}}{g ^{2}}, (f \circ g)^{'} = f^{'} (g) g^{'}

Вывод производной сигмоиды

$σ (x) = (1 + e^{- x})^{- 1}$ . По правилу цепочки $σ^{'} (x) = σ (x) (1 - σ (x))$ — красивая формула, из-за которой выглядит так просто.

Выражение	по $w$
$a^{⊤} w$	$a$
$w^{⊤} A w$	$(A + A^{⊤}) w$
$∥ X w - y ∥^{2}$	$2 X^{⊤} (X w - y)$
$lo g det (W)$	$(W^{- 1})^{⊤}$

На практике

Проверяйте размерности: скаляра по — вектор той же длины. Это простое правило ловит большинство ошибок в выкладках.

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Математический анализ» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Математика для ML14 записей

Связанные темы

Аппарат анализа

Следующий шагДальше по связи: Limits and ContinuityПредел описывает, к чему стремится функция вблизи точки. На этом понятии держатся производная, интеграл и вся теория сходимости алгоритмов.Перейти →

Глава «Математический анализ» последний раз правилась 26 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Подробный разбор

Видеолекции

Связанные темы

Limits and Continuity85%

Derivative85%

Taylor Series85%

Multivariable Calculus85%

Jacobian85%

Lagrange Multipliers85%

Convexity85%

Numerical Differentiation85%

Series and Convergence85%

Integral85%

Differential Equations85%

Calculus85%

Gradient85%

Hessian85%

Backpropagation85%

Differentiation Rules

Ключевые тезисы

Подробный разбор

1Четыре правилаВсё, что нужно для ручного вывода градиента.

2Матричное дифференцированиеПроизводные по векторам и матрицам.

Видеолекции

Связанные темы

Limits and Continuity85%

Derivative85%

Taylor Series85%

Multivariable Calculus85%

Jacobian85%

Lagrange Multipliers85%

Convexity85%

Numerical Differentiation85%

Series and Convergence85%

Integral85%

Differential Equations85%

Calculus85%

Gradient85%

Hessian85%

Backpropagation85%