Mathematical Analysis
Математический анализ
Отдельная глава для тех, кому нужно не «правило цепочки в двух словах», а сам аппарат: пределы, дифференцирование, разложения, интегралы и условная оптимизация. Отсюда растут и градиентный спуск, и вариационные методы.
Limits and Continuityактуально
Пределы и непрерывностьПредел описывает, к чему стремится функция вблизи точки. На этом понятии держатся производная, интеграл и вся теория сходимости алгоритмов.
Derivativeактуально
ПроизводнаяСкорость изменения функции: предел отношения приращения функции к приращению аргумента. Геометрически — наклон касательной.
Differentiation Rulesактуально
Правила дифференцированияСумма, произведение, частное и композиция — четыре правила, которых достаточно, чтобы продифференцировать почти любую функцию потерь вручную.
Integralактуально
ИнтегралОпределённый интеграл — площадь под кривой, неопределённый — обратная операция к дифференцированию. В ML интеграл почти всегда означает математическое ожидание.
Calculusактуально
Математический анализиз «Основы»Производные показывают, как изменится ошибка при малом изменении параметра. Именно это делает возможным градиентное обучение.
Taylor Seriesактуально
Ряд ТейлораПриближение функции многочленом по производным в точке. Инструмент, которым обосновывают почти все методы оптимизации.
Series and Convergenceактуально
Ряды и сходимостьКогда бесконечная сумма имеет конечное значение и с какой скоростью алгоритм приближается к ответу.
Numerical Differentiationактуально
Численное дифференцированиеПриближение производной конечными разностями: медленно и неточно, но незаменимо для проверки аналитических градиентов.
Differential Equationsновинка
Дифференциальные уравненияУравнения, связывающие функцию с её производными. Описывают динамику — от роста популяций до обратного процесса в диффузионных моделях.
Multivariable Calculusактуально
Многомерный анализФункции многих переменных: частные производные, градиент, производная по направлению и линии уровня.
Jacobianактуально
ЯкобианМатрица частных производных векторной функции. Описывает, как преобразование растягивает пространство локально.
Lagrange Multipliersактуально
Множители ЛагранжаМетод условной оптимизации: минимизировать функцию при ограничениях, не решая их подстановкой.
Convexityактуально
ВыпуклостьСвойство функции, гарантирующее единственность минимума и сходимость градиентных методов.
Gradientактуально
Градиентиз «Математический справочник»Вектор частных производных, указывающий направление наибыстрейшего роста функции.
Hessianактуально
Гессианиз «Математический справочник»Матрица вторых производных, описывающая локальную кривизну функции.
Backpropagationактуально
Обратное распространение ошибкииз «Глубокое обучение»Эффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.
Gradient Descentактуально
Градиентный спускиз «Оптимизация обучения»Итеративный шаг против градиента функции потерь — базовый алгоритм обучения.
5 тем показаны здесь из других глав — они подходят по смыслу и открываются в своей главе.