Norm

Мера длины ; выбор определяет геометрию задачи.

Ключевые тезисы

— сумма модулей, L2 — евклидова длина, L∞ — максимум.
L1-регуляризация даёт разреженность, — равномерное сжатие.
к единичной длине делает скалярное произведение косинусом.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

∥ x ∥_{p} = (i \sum ∣ x_{i} ∣^{p})^{1/ p}, ∥ x ∥_{\infty} = i max ∣ x_{i} ∣

Обозначения

$x$ вектор или точка пространства признаков
$p$ вероятность (или показатель нормы)
$\sum$ суммирование по всем перечисленным элементам
$∥ \cdot ∥$ норма — длина вектора

Единичный шар в $L_{1}$ — ромб с углами на осях; отсюда разреженность решений Lasso.
В $L_{2}$ — круг: сжатие равномерное по всем направлениям.
Обрезка использует $L_{2}$ : $g \leftarrow g \cdot min (1, τ /∥ g ∥_{2})$ .

λ1.0e-4

‖w‖₂4.054

нулевых коэффициентов0 из 9

Сила регуляризации log₁₀λ-4.00

Тип

Переключение L1/L2 при одном и том же λ даёт качественно разные решения

g \leftarrow g \cdot min (1, \frac{τ}{∥ g ∥ _{2}})

Обозначения

$τ$ порог или задержка
$∥ \cdot ∥$ норма — длина вектора

по сохраняет направление и ограничивает длину

Weight normalization и spectral normalization ограничивают весов для устойчивости.
L2-нормализация превращает скалярное произведение в косинус.
Логирование норм по слоям — лучший индикатор затухания или взрыва.

Видеолекции

Тайм-кода именно на эту тему в записях нет. Но глава «Математический справочник» разобрана в курсе целиком — с той оговоркой, что место в записи придётся искать самому.

Курс: Математика для ML14 записей

Связанные темы

Метрические и ядровые методы · Линейная алгебра в ML

Distance90%

Расстояние · Математический справочник

Мера непохожести объектов — основа кластеризации, k-NN и поиска.

Metric spaces90%

Метрические пространства · Топологический анализ данных

Множество с функцией расстояния. Любой TDA-пайплайн начинается с выбора метрики.

Linear Algebra70%

Линейная алгебра · Основы

Векторы и матрицы — способ описать данные и преобразования над ними. Обучение модели почти всегда сводится к последовательности матричных операций.

Vector70%

Вектор · Математический справочник

Упорядоченный набор чисел; в ML — представление объекта в пространстве признаков.

Matrix70%

Матрица · Математический справочник

Прямоугольная таблица чисел, задающая линейное преобразование или набор объектов.

Eigenvalue70%

Собственное значение · Математический справочник

Коэффициент растяжения вдоль направления, которое преобразование не поворачивает.

Eigenvector70%

Собственный вектор · Математический справочник

Направление, сохраняющееся при линейном преобразовании с точностью до масштаба.

PCA70%

Метод главных компонент · Классическое машинное обучение

Ортогональная проекция на направления максимальной дисперсии — линейное сжатие с минимальной потерей информации.

k-NN65%

Метод k ближайших соседей · Классическое машинное обучение

Ленивый алгоритм: предсказание — это голосование k ближайших объектов обучающей выборки.

SVM65%

Метод опорных векторов · Классическое машинное обучение

Ищет гиперплоскость с максимальным зазором между классами; ядровой трюк добавляет нелинейность без явного перехода в новое пространство.

k-Means65%

k-средних · Классическое машинное обучение

Разбивает объекты на k кластеров, минимизируя суммарное расстояние до центроидов.

Normalization & Standardization65%

Нормализация и стандартизация · Данные

Приведение признаков к сопоставимым масштабам, без которого расстояния, градиенты и регуляризация работают некорректно.

Следующий шагДальше по связи: DistanceМера непохожести объектов — основа кластеризации, k-NN и поиска.Перейти →

Глава «Математический справочник» последний раз правилась 26 августа 2026 г.. Нашли ошибку — напишите.