SVM

Ищет гиперплоскость с максимальным зазором между классами; ядровой трюк добавляет нелинейность без явного перехода в новое пространство.

w, b min \frac{1}{2} ∥ w ∥^{2} + C i \sum ξ_{i}

Что означает каждый компонент

$\frac{1}{2} ∥ w ∥^{2}$ минимизация нормы весов равносильна максимизации ширины зазора (она равна 2/‖w‖)
$C \sum ξ_{i}$ штраф за нарушения зазора. Большое C — почти не прощаем ошибок, малое — широкий зазор ценой ошибок

Ключевые тезисы

Решение определяется только опорными на границе зазора.
Ядра: линейное, полиномиальное, RBF; C и γ управляют компромиссом зазора и ошибок.
Отлично работает на малых выборках высокой размерности, плохо масштабируется по числу объектов.

Какую задачу решает

Разделяющих гиперплоскостей между двумя классами бесконечно много. выбирает не любую, а ту, что проходит максимально далеко от ближайших объектов обеих сторон. Идея простая и содержательная: широкий зазор означает, что небольшой сдвиг данных не изменит решение — то есть модель устойчива.

Второе, что делает особенным, — ядровой трюк. Скалярное произведение в формуле можно заменить функцией ядра, и модель начинает строить линейную границу в пространстве огромной (иногда бесконечной) размерности, никогда в него не переходя. Так линейный по сути метод получает произвольно сложную границу в исходных координатах.

Что делает ядровой трюк

Точки внутри круга — класс A, снаружи — класс B. Прямой их не разделить. Добавим третью координату $z = x^{2} + y^{2}$ : теперь внутренние точки лежат низко, внешние высоко, и обычная плоскость $z = r^{2}$ их разделяет. Ядровой трюк делает ровно это, но не вычисляя $z$ : полиномиальное ядро $K (x, x^{'}) = (x^{⊤} x^{'} + 1)^{2}$ даёт то же самое скалярное произведение, что и явный переход в пространство всех квадратов и попарных произведений. При RBF-ядре подразумеваемое пространство бесконечномерно — а вычисляется всё равно одна экспонента.

Подробный разбор

3 подтемы — объяснения, формулы, примеры и интерактивные графики.

Разделяющих прямых бесконечно много. выбирает ту, что проходит максимально далеко от обоих классов: чем шире полоса, тем устойчивее классификатор к новым данным.

M_{i} = y_{i} (w^{⊤} x_{i} + b)

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$x^{⊤}$ транспонирование: строка вместо столбца

Отступ объекта: положительный — классифицирован верно, отрицательный — ошибка, близкий к нулю — объект у самой границы

w, b min \frac{1}{2} ∥ w ∥^{2} при y_{i} (w^{⊤} x_{i} + b) \geq 1

Обозначения

$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$∥ \cdot ∥$ норма — длина вектора
$x^{⊤}$ транспонирование: строка вместо столбца

Ширина зазора равна

2/∥ w ∥

, поэтому максимизация зазора = минимизация весов

ширина зазора0.184

опорных векторов1

ошибокнет

Наклон гиперплоскости45°Сдвиг0.00

Крутите наклон и сдвиг: ширина зазора меняется, а опорными оказываются только объекты на его границе

w, b, ξ min \frac{1}{2} ∥ w ∥^{2} + C i = 1 \sum n ξ_{i}, y_{i} (w^{⊤} x_{i} + b) \geq 1 - ξ_{i}, ξ_{i} \geq 0

Обозначения

$C$ параметр C: цена нарушения зазора. Большое C — почти не прощаем ошибок
$ξ_{i}$ переменная нарушения зазора: на сколько объект заходит внутрь полосы или за неё
$y$ истинное значение целевой переменной
$x$ объект: вектор признаков
$w$ веса модели — то, что подбирается при обучении
$n$ число объектов в выборке
$\sum$ суммирование по всем перечисленным элементам

Большое $C$ — почти не прощаем ошибок, узкий зазор, риск .
Малое $C$ — широкий зазор ценой ошибок, сильная .
Эквивалентная запись через hinge loss: $\sum_{i} max (0, 1 - M_{i}) + λ ∥ w ∥^{2}$ .

MSE4.00

MAE2.00

Huber1.50

Задача

δ у Huber1.0

Режим «Классификация»: hinge обнуляется, как только отступ больше 1 — объекты вдали от границы перестают влиять

Если классы разделены окружностью, в исходных линейной границы нет. Но в признаках $(x_{1}^{2}, x_{2}^{2})$ та же выборка становится линейно разделимой — граница превращается в прямую.

K (a, b) = ⟨ φ (a), φ (b)⟩, K_{RBF} (a, b) = exp (- γ ∥ a - b ∥^{2})

Обозначения

$γ$ параметр ядра RBF: радиус влияния объекта
$∥ \cdot ∥$ норма — длина вектора
$⟨ a, b ⟩$ скалярное произведение: мера согласованности векторов
$exp$ экспонента

Ядро считает скалярное произведение в новом пространстве, не вычисляя само преобразование

$γ$ задаёт «радиус влияния» объекта: большое $γ$ — узкие островки вокруг точек, .
$C$ и $γ$ подбираются вместе, по логарифмической сетке.
Сложность обучения — от $O (n^{2})$ до $O (n^{3})$ : на сотнях тысяч объектов уже неудобен.

Где применяется

Малые выборки высокой размерностиБиоинформатика, спектры, микрочипы: тысячи, наблюдений сотни — классическая зона силы .
Классификация текстаЛинейный на долго был стандартом и остаётся крепкой базовой линией.
One-class очерчивает область нормальных данных без примеров .
Задачи с чёткой границейТам, где классы действительно разделимы, максимальный зазор даёт хорошее обобщение.

Плюсы, минусы и альтернативы

Плюсы

Хорошо работает при числе , превышающем число объектов.
Максимальный зазор — принципиальная защита от .
Ядра дают произвольно сложные границы без ручного .
Решение определяется только опорными — модель компактна.
задача: глобальный оптимум гарантирован.

Минусы

Плохо масштабируется: обучение примерно $O (n^{2})$ – $O (n^{3})$ , на сотнях тысяч объектов непрактично.
Вероятностей не даёт — их приходится добирать Платта.
Требует и подбора $C$ и $γ$ по сетке.
Ядровая модель непрозрачна: объяснить решение труднее, чем у дерева или линейной модели.
Чувствителен к дисбалансу классов без взвешивания.

Брать, если

Объектов немного (до десятков тысяч), а много.
Нужна нелинейная граница, а данных для не хватает.
Задача — очертить область без примеров (one-class).

Не брать, если

Наблюдений сотни тысяч и больше — обучение не сойдётся за разумное время.
Нужны калиброванные вероятности — проще.
Данные табличные и разнородные: обычно точнее и не требует .

Чем заменяют

Logistic RegressionактуальноЛогистическая регрессия · Классическое машинное обучениеНужны вероятности и объяснимость, а граница близка к линейной.Gradient BoostingактуальноГрадиентный бустинг · Классическое машинное обучениеОбъектов много и данные табличные.Isolation ForestактуальноIsolation Forest · Классическое машинное обучениеЗадача — на больших данных: дешевле one-class .

Связанные темы

Метрические и ядровые методы

Следующий шагДальше по связи: k-NNЛенивый алгоритм: предсказание — это голосование k ближайших объектов обучающей выборки.Перейти →

Глава «Классическое машинное обучение» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

k-NN65%

k-Means65%

Distance65%

Norm65%

Normalization & Standardization65%

Metric spaces65%

Зазор (margin)

Опорные векторы

Параметр $C$

Ядровой трюк

RBF-ядро

SVM

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Отступ и максимальный зазорЧто значит «лучшая» разделяющая гиперплоскость.

2Мягкий зазор и параметр CЧто делать, когда классы пересекаются.

3Ядровой трюкНелинейная граница без явного перехода в новое пространство.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Связанные темы

k-NN65%

k-Means65%

Distance65%

Norm65%

Normalization & Standardization65%

Metric spaces65%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

Зазор (margin)

Опорные векторы

Параметр C

Ядровой трюк

RBF-ядро

Параметр $C$