частных функции. Описывает, как преобразование растягивает пространство локально.
- элемент матрицы: строка i — компонента выхода, столбец j — компонента входа
- как i-й выход реагирует на изменение j-го входа. Автодифференцирование перемножает такие матрицы, не строя их явно
Ключевые тезисы
- Автодифференцирование фактически перемножает слоёв, не строя их явно.
- Определитель появляется в формуле замены переменных — на нём построены normalizing flows.
- Vector-Jacobian product — то, что реально вычисляет обратный проход в PyTorch.
Подробный разбор
Для слоя с 1000 входов и 1000 выходов — миллион чисел. Но при обратном проходе нужен не он сам, а произведение . Такое произведение вычисляется за одну операцию, без материализации — это и есть vector-Jacobian product.
- Обратный режим () эффективен, когда выходов мало, а входов много — типичный случай в ML.
- Прямой режим выгоднее в обратной ситуации и используется, например, для якобиан-векторных произведений.
jax.jvpиjax.vjpдают доступ к обоим режимам явно.
- истинное значение целевой переменной
- показатель степени или вероятность — зависит от формулы
Normalizing flows строят обратимые преобразования с легко вычислимым определителем — так удаётся получить точное сложного распределения.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Математический анализ» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Аппарат анализа
Limits and Continuity85%
Пределы и непрерывность · Математический анализПредел описывает, к чему стремится функция вблизи точки. На этом понятии держатся производная, интеграл и вся теория сходимости алгоритмов.
Derivative85%
Производная · Математический анализСкорость изменения функции: предел отношения приращения функции к приращению аргумента. Геометрически — наклон касательной.
Differentiation Rules85%
Правила дифференцирования · Математический анализСумма, произведение, частное и композиция — четыре правила, которых достаточно, чтобы продифференцировать почти любую функцию потерь вручную.
Taylor Series85%
Ряд Тейлора · Математический анализПриближение функции многочленом по производным в точке. Инструмент, которым обосновывают почти все методы оптимизации.
Multivariable Calculus85%
Многомерный анализ · Математический анализФункции многих переменных: частные производные, градиент, производная по направлению и линии уровня.
Lagrange Multipliers85%
Множители Лагранжа · Математический анализМетод условной оптимизации: минимизировать функцию при ограничениях, не решая их подстановкой.
Convexity85%
Выпуклость · Математический анализСвойство функции, гарантирующее единственность минимума и сходимость градиентных методов.
Numerical Differentiation85%
Численное дифференцирование · Математический анализПриближение производной конечными разностями: медленно и неточно, но незаменимо для проверки аналитических градиентов.
Series and Convergence85%
Ряды и сходимость · Математический анализКогда бесконечная сумма имеет конечное значение и с какой скоростью алгоритм приближается к ответу.
Integral85%
Интеграл · Математический анализОпределённый интеграл — площадь под кривой, неопределённый — обратная операция к дифференцированию. В ML интеграл почти всегда означает математическое ожидание.
Differential Equations85%
Дифференциальные уравнения · Математический анализУравнения, связывающие функцию с её производными. Описывают динамику — от роста популяций до обратного процесса в диффузионных моделях.
Calculus85%
Математический анализ · ОсновыПроизводные показывают, как изменится ошибка при малом изменении параметра. Именно это делает возможным градиентное обучение.
Gradient85%
Градиент · Математический справочникВектор частных производных, указывающий направление наибыстрейшего роста функции.
Hessian85%
Гессиан · Математический справочникМатрица вторых производных, описывающая локальную кривизну функции.
Backpropagation85%
Обратное распространение ошибки · Глубокое обучениеЭффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.
Глава «Математический анализ» последний раз правилась . Нашли ошибку — напишите.