Скорость изменения функции: предел отношения приращения функции к приращению аргумента. Геометрически — наклон касательной.
- приращение функции при малом сдвиге аргумента
- величина сдвига. Отношение при h → 0 и есть мгновенная скорость изменения — наклон касательной
Ключевые тезисы
- Знак производной говорит о возрастании или убывании, ноль — о критической точке.
- Вторая производная различает минимум, максимум и точку перегиба.
- Дифференцируемость сильнее непрерывности: модуль непрерывен всюду, но не дифференцируем в нуле.
Подробный разбор
2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.
1Геометрия производной
Наклон касательной и линейное приближение.
- приращение аргумента
- аргумент функции — точка, в которой её рассматривают
- функция, о которой идёт речь
Именно на этом приближении построен градиентный спуск: мы считаем, что вблизи текущей точки функция линейна, и делаем шаг в сторону убывания. Шаг нельзя делать слишком большим ровно потому, что приближение перестаёт быть верным.
2Критические точки
Минимум, максимум, седло и перегиб.
| Что это | ||
|---|---|---|
| 0 | > 0 | локальный минимум |
| 0 | < 0 | локальный максимум |
| 0 | = 0 | нужен более тонкий анализ |
| ≠ 0 | 0 | точка перегиба графика |
В многомерном случае вместо знака второй производной смотрят собственные значения гессиана. В глубоком обучении подавляющее большинство критических точек — сёдла, а не минимумы.
Связанные темы
Аппарат анализа
Limits and Continuity85%
Пределы и непрерывность · Математический анализПредел описывает, к чему стремится функция вблизи точки. На этом понятии держатся производная, интеграл и вся теория сходимости алгоритмов.
Differentiation Rules85%
Правила дифференцирования · Математический анализСумма, произведение, частное и композиция — четыре правила, которых достаточно, чтобы продифференцировать почти любую функцию потерь вручную.
Taylor Series85%
Ряд Тейлора · Математический анализПриближение функции многочленом по производным в точке. Инструмент, которым обосновывают почти все методы оптимизации.
Multivariable Calculus85%
Многомерный анализ · Математический анализФункции многих переменных: частные производные, градиент, производная по направлению и линии уровня.
Jacobian85%
Якобиан · Математический анализМатрица частных производных векторной функции. Описывает, как преобразование растягивает пространство локально.
Lagrange Multipliers85%
Множители Лагранжа · Математический анализМетод условной оптимизации: минимизировать функцию при ограничениях, не решая их подстановкой.
Convexity85%
Выпуклость · Математический анализСвойство функции, гарантирующее единственность минимума и сходимость градиентных методов.
Numerical Differentiation85%
Численное дифференцирование · Математический анализПриближение производной конечными разностями: медленно и неточно, но незаменимо для проверки аналитических градиентов.
Series and Convergence85%
Ряды и сходимость · Математический анализКогда бесконечная сумма имеет конечное значение и с какой скоростью алгоритм приближается к ответу.
Integral85%
Интеграл · Математический анализОпределённый интеграл — площадь под кривой, неопределённый — обратная операция к дифференцированию. В ML интеграл почти всегда означает математическое ожидание.
Differential Equations85%
Дифференциальные уравнения · Математический анализУравнения, связывающие функцию с её производными. Описывают динамику — от роста популяций до обратного процесса в диффузионных моделях.
Calculus85%
Математический анализ · ОсновыПроизводные показывают, как изменится ошибка при малом изменении параметра. Именно это делает возможным градиентное обучение.
Gradient85%
Градиент · Математический справочникВектор частных производных, указывающий направление наибыстрейшего роста функции.
Hessian85%
Гессиан · Математический справочникМатрица вторых производных, описывающая локальную кривизну функции.
Backpropagation85%
Обратное распространение ошибки · Глубокое обучениеЭффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.