Convexity — Выпуклость

Свойство функции, гарантирующее единственность минимума и сходимость градиентных методов.

f (α x + (1 - α) y) \leq α f (x) + (1 - α) f (y)

Что означает каждый компонент

$α x + (1 - α) y$ любая точка отрезка между x и y
$α f (x) + (1 - α) f (y)$ соответствующая точка хорды. График всегда не выше хорды — отсюда единственность минимума

Ключевые тезисы

Дважды дифференцируемая функция выпукла, если её гессиан положительно полуопределён.
Сумма выпуклых функций выпукла — поэтому регуляризованная линейная модель остаётся выпуклой задачей.
Функция потерь нейросети невыпукла, но в высокой размерности плохих локальных минимумов мало.

Тема также относится к главам:Оптимизация обученияМетоды

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Как проверить выпуклость

Три рабочих критерия.

Определение через отрезок: график не выше хорды.
Первый порядок: $f (y) \geq f (x) + \nabla f (x)^{⊤} (y - x)$ — касательная лежит под графиком.
Второй порядок: гессиан положительно полуопределён во всех точках.

На практике

Полезные правила композиции: неотрицательная сумма выпуклых выпукла, максимум выпуклых выпукл, выпуклая невозрастающая от вогнутой выпукла. Этого хватает, чтобы разобрать почти любую функцию потерь.

Почему это важно на практике

Что даёт и чего не даёт выпуклость.

Задача	Выпукла?	Следствие
Линейная регрессия + L2	да	единственное решение, есть формула
Логистическая регрессия	да	глобальный оптимум гарантирован
Линейный SVM	да	двойственная задача решается точно
Нейросеть	нет	результат зависит от инициализации и сида
k-means	нет	нужны несколько запусков

Связанные темы

Аппарат анализа

Limits and Continuity85%

Пределы и непрерывность · Математический анализ

Предел описывает, к чему стремится функция вблизи точки. На этом понятии держатся производная, интеграл и вся теория сходимости алгоритмов.

Derivative85%

Производная · Математический анализ

Скорость изменения функции: предел отношения приращения функции к приращению аргумента. Геометрически — наклон касательной.

Differentiation Rules85%

Правила дифференцирования · Математический анализ

Сумма, произведение, частное и композиция — четыре правила, которых достаточно, чтобы продифференцировать почти любую функцию потерь вручную.

Taylor Series85%

Ряд Тейлора · Математический анализ

Приближение функции многочленом по производным в точке. Инструмент, которым обосновывают почти все методы оптимизации.

Multivariable Calculus85%

Многомерный анализ · Математический анализ

Функции многих переменных: частные производные, градиент, производная по направлению и линии уровня.

Jacobian85%

Якобиан · Математический анализ

Матрица частных производных векторной функции. Описывает, как преобразование растягивает пространство локально.

Lagrange Multipliers85%

Множители Лагранжа · Математический анализ

Метод условной оптимизации: минимизировать функцию при ограничениях, не решая их подстановкой.

Numerical Differentiation85%

Численное дифференцирование · Математический анализ

Приближение производной конечными разностями: медленно и неточно, но незаменимо для проверки аналитических градиентов.

Series and Convergence85%

Ряды и сходимость · Математический анализ

Когда бесконечная сумма имеет конечное значение и с какой скоростью алгоритм приближается к ответу.

Integral85%

Интеграл · Математический анализ

Определённый интеграл — площадь под кривой, неопределённый — обратная операция к дифференцированию. В ML интеграл почти всегда означает математическое ожидание.

Differential Equations85%

Дифференциальные уравнения · Математический анализ

Уравнения, связывающие функцию с её производными. Описывают динамику — от роста популяций до обратного процесса в диффузионных моделях.

Calculus85%

Математический анализ · Основы

Производные показывают, как изменится ошибка при малом изменении параметра. Именно это делает возможным градиентное обучение.

Gradient85%

Градиент · Математический справочник

Вектор частных производных, указывающий направление наибыстрейшего роста функции.

Hessian85%

Гессиан · Математический справочник

Матрица вторых производных, описывающая локальную кривизну функции.

Backpropagation85%

Обратное распространение ошибки · Глубокое обучение

Эффективное вычисление градиентов по всем параметрам сети за один обратный проход с помощью правила цепочки.