Математический анализ

Integral

Интеграл

актуальноТекущий рабочий стандарт

Направления: Основы · Математика

Определённый интеграл — площадь под кривой, неопределённый — обратная операция к дифференцированию. В ML интеграл почти всегда означает .

Что означает каждый компонент
  • величина, среднее которой мы хотим получить (например, ошибка модели)
  • плотность распределения данных — вес каждой точки
  • суммирование по всем возможным значениям. На практике интеграл заменяют средним по выборке

Ключевые тезисы

  • Функция плотности интегрируется в единицу — это определение непрерывного распределения.
  • Ожидание, , и записываются интегралами.
  • Большинство интегралов в ML не берутся аналитически и оцениваются методом Монте-Карло.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • математическое ожидание — среднее по распределению
  • аргумент функции — точка, в которой её рассматривают
  • показатель степени или вероятность — зависит от формулы
  • функция, о которой идёт речь
  • интегрирование — непрерывный аналог суммы

на всей популяции, , , ELBO вариационного — всё это интегралы. Почти ни один из них не берётся аналитически, поэтому их заменяют средним по выборке.

Обозначения
  • аргумент функции — точка, в которой её рассматривают
  • номер члена последовательности или порядок производной
  • показатель степени или вероятность — зависит от формулы
  • функция, о которой идёт речь
  • суммирование по всем перечисленным элементам
  • интегрирование — непрерывный аналог суммы
Оценка Монте-Карло: точность независимо от размерности

Обозначения
  • коэффициент, задающий вес слагаемого или скорость обновления
  • аргумент функции — точка, в которой её рассматривают
  • показатель степени или вероятность — зависит от формулы
  • распределение, предсказанное моделью
  • интегрирование — непрерывный аналог суммы
  • ROC — тоже интеграл: площадь под кривой.
  • Квантильная регрессия оптимизирует pinball loss и предсказывает квантиль, а не среднее.
  • Метод обратной функции распределения — базовый способ сэмплировать из произвольного распределения.

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Математический анализ» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.

Связанные темы

Аппарат анализа

Limits and Continuity85%

Пределы и непрерывность · Математический анализ

Предел описывает, к чему стремится функция вблизи точки. На этом понятии держатся производная, интеграл и вся теория сходимости алгоритмов.

Derivative85%

Производная · Математический анализ

Скорость изменения функции: предел отношения приращения функции к приращению аргумента. Геометрически — наклон касательной.

Differentiation Rules85%

Правила дифференцирования · Математический анализ

Сумма, произведение, частное и композиция — четыре правила, которых достаточно, чтобы продифференцировать почти любую функцию потерь вручную.

Taylor Series85%

Ряд Тейлора · Математический анализ

Приближение функции многочленом по производным в точке. Инструмент, которым обосновывают почти все методы оптимизации.

Multivariable Calculus85%

Многомерный анализ · Математический анализ

Функции многих переменных: частные производные, градиент, производная по направлению и линии уровня.

Jacobian85%

Якобиан · Математический анализ

Матрица частных производных векторной функции. Описывает, как преобразование растягивает пространство локально.

Lagrange Multipliers85%

Множители Лагранжа · Математический анализ

Метод условной оптимизации: минимизировать функцию при ограничениях, не решая их подстановкой.

Convexity85%

Выпуклость · Математический анализ

Свойство функции, гарантирующее единственность минимума и сходимость градиентных методов.

Numerical Differentiation85%

Численное дифференцирование · Математический анализ

Приближение производной конечными разностями: медленно и неточно, но незаменимо для проверки аналитических градиентов.

Series and Convergence85%

Ряды и сходимость · Математический анализ

Когда бесконечная сумма имеет конечное значение и с какой скоростью алгоритм приближается к ответу.

Differential Equations85%

Дифференциальные уравнения · Математический анализ

Уравнения, связывающие функцию с её производными. Описывают динамику — от роста популяций до обратного процесса в диффузионных моделях.

Calculus85%

Математический анализ · Основы

Производные показывают, как изменится ошибка при малом изменении параметра. Именно это делает возможным градиентное обучение.

Gradient85%

Градиент · Математический справочник

Вектор частных производных, указывающий направление наибыстрейшего роста функции.

Hessian85%

Гессиан · Математический справочник

Матрица вторых производных, описывающая локальную кривизну функции.

Backpropagation85%

Обратное распространение ошибки · Глубокое обучение

Эффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.

Следующий шагДальше по связи: Limits and ContinuityПредел описывает, к чему стремится функция вблизи точки. На этом понятии держатся производная, интеграл и вся теория сходимости алгоритмов.Перейти →

Глава «Математический анализ» последний раз правилась . Нашли ошибку — напишите.