Norm — Норма

Мера длины вектора; выбор нормы определяет геометрию задачи.

Ключевые тезисы

L1 — сумма модулей, L2 — евклидова длина, L∞ — максимум.
L1-регуляризация даёт разреженность, L2 — равномерное сжатие.
Нормализация вектора к единичной длине делает скалярное произведение косинусом.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Семейство норм

L1, L2, L∞ и их геометрия.

∥ x ∥_{p} = (i \sum ∣ x_{i} ∣^{p})^{1/ p}, ∥ x ∥_{\infty} = i max ∣ x_{i} ∣

Обозначения

$x$ вектор или точка пространства признаков
$p$ вероятность (или показатель нормы)
$\sum$ суммирование по всем перечисленным элементам
$∥ \cdot ∥$ норма — длина вектора

Единичный шар в $L_{1}$ — ромб с углами на осях; отсюда разреженность решений Lasso.
В $L_{2}$ — круг: сжатие равномерное по всем направлениям.
Обрезка нормы градиента использует $L_{2}$ : $g \leftarrow g \cdot min (1, τ /∥ g ∥_{2})$ .

λ1.0e-4

‖w‖₂4.054

нулевых коэффициентов0 из 9

Сила регуляризации log₁₀λ-4.00

Тип

Переключение L1/L2 при одном и том же λ даёт качественно разные решения

Нормы в обучении сетей

Где норма используется как инструмент, а не как метрика.

g \leftarrow g \cdot min (1, \frac{τ}{∥ g ∥ _{2}})

Обозначения

$τ$ порог или задержка
$∥ \cdot ∥$ норма — длина вектора

Обрезка градиента по норме сохраняет направление и ограничивает длину

Weight normalization и spectral normalization ограничивают нормы весов для устойчивости.
L2-нормализация эмбеддингов превращает скалярное произведение в косинус.
Логирование норм градиентов по слоям — лучший индикатор затухания или взрыва.

Связанные темы

Метрические и ядровые методы · Линейная алгебра в ML

Distance90%

Расстояние · Математический справочник

Мера непохожести объектов — основа кластеризации, k-NN и поиска.

Metric spaces90%

Метрические пространства · Топологический анализ данных

Множество с функцией расстояния. Любой TDA-пайплайн начинается с выбора метрики.

Linear Algebra70%

Линейная алгебра · Основы

Векторы и матрицы — способ описать данные и преобразования над ними. Обучение модели почти всегда сводится к последовательности матричных операций.

Vector70%

Вектор · Математический справочник

Упорядоченный набор чисел; в ML — представление объекта в пространстве признаков.

Matrix70%

Матрица · Математический справочник

Прямоугольная таблица чисел, задающая линейное преобразование или набор объектов.

Eigenvalue70%

Собственное значение · Математический справочник

Коэффициент растяжения вдоль направления, которое преобразование не поворачивает.

Eigenvector70%

Собственный вектор · Математический справочник

Направление, сохраняющееся при линейном преобразовании с точностью до масштаба.

PCA70%

Метод главных компонент · Классическое машинное обучение

Ортогональная проекция на направления максимальной дисперсии — линейное сжатие с минимальной потерей информации.

k-NN65%

Метод k ближайших соседей · Классическое машинное обучение

Ленивый алгоритм: предсказание — это голосование k ближайших объектов обучающей выборки.

SVM65%

Метод опорных векторов · Классическое машинное обучение

Ищет гиперплоскость с максимальным зазором между классами; ядровой трюк добавляет нелинейность без явного перехода в новое пространство.

k-Means65%

k-средних · Классическое машинное обучение

Разбивает объекты на k кластеров, минимизируя суммарное расстояние до центроидов.

Normalization & Standardization65%

Нормализация и стандартизация · Данные

Приведение признаков к сопоставимым масштабам, без которого расстояния, градиенты и регуляризация работают некорректно.