GMM

Вероятностная модель: данные порождаются смесью нормальных распределений, параметры оцениваются EM-алгоритмом.

Ключевые тезисы

Даёт мягкое отнесение: вероятность принадлежности объекта каждому кластеру.
Ковариационные позволяют кластерам быть вытянутыми и повёрнутыми.
Число компонент выбирают по BIC/AIC; — частный вырожденный случай GMM.

Какую задачу решает

GMM описывает данные как смесь нескольких нормальных распределений: каждый кластер — своя гауссиана со своим центром, формой и весом. В отличие от , приписывающего объект одному кластеру жёстко, GMM выдаёт вероятности принадлежности каждому.

Практически это даёт две вещи. Во-первых, кластеры могут быть вытянутыми и повёрнутыми — полная ковариационная описывает эллипс любой ориентации, тогда как умеет только шары. Во-вторых, появляется вероятностная модель данных: можно оценить нового объекта, сравнить модели по BIC и осмысленно выбрать число компонент.

Где GMM выигрывает у k-means

Два вытянутых вдоль диагонали облака, лежащих параллельно и близко друг к другу. разрежет их поперёк, потому что умеет строить только границы, равноудалённые от центров, и его кластеры выпуклы и изотропны. GMM с полной подгонит два узких повёрнутых эллипса и разделит облака вдоль, как и следовало. Разницу видно сразу на графике — и это главный практический того, что пора переходить от k-means к GMM: кластеры визуально вытянуты.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

p (x) = k = 1 \sum K π_{k} N (x ∣ μ_{k}, Σ_{k}), k \sum π_{k} = 1

Обозначения

$N (μ, σ^{2})$ нормальное распределение со средним μ и дисперсией σ²
$μ$ среднее значение
$x$ объект: вектор признаков
$n$ число объектов в выборке
$p$ вероятность (или плотность распределения)
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$\sum$ суммирование по всем перечисленным элементам

Каждый объект принадлежит всем кластерам с некоторыми вероятностями. Ковариационные $Σ_{k}$ позволяют кластерам быть вытянутыми и повёрнутыми — этого не умеет, потому что неявно предполагает $Σ = σ^{2} I$ .

E-шаг: при текущих параметрах считаем ответственности $γ_{ik}$ — вероятность, что объект $i$ порождён компонентой $k$ .
M-шаг: при фиксированных ответственностях пересчитываем $π_{k}$ , $μ_{k}$ , $Σ_{k}$ как взвешенные оценки.

γ_{ik} = \frac{π _{k} N ( x _{i} ∣ μ _{k} , Σ _{k} )}{\sum _{j} π _{j} N ( x _{i} ∣ μ _{j} , Σ _{j} )}

Обозначения

$N (μ, σ^{2})$ нормальное распределение со средним μ и дисперсией σ²
$μ$ среднее значение
$γ$ параметр ядра RBF: радиус влияния объекта
$x$ объект: вектор признаков
$n$ число объектов в выборке
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$\sum$ суммирование по всем перечисленным элементам

E-шаг: мягкое распределение объекта по компонентам

На практике

не убывает на каждой итерации, но сходимость возможна в локальный максимум — поэтому запускают несколько раз с разной инициализацией. Число компонент выбирают по BIC/AIC.

Где применяется

с неопределённостьюКогда важно знать, что объект на границе двух групп, а не приписывать его одной.
Оценка плотностиПолноценная генеративная модель распределения: можно считать и сэмплировать.
Низкое под смесью — обоснованный скор аномальности.
Разделение перекрывающихся группКлассический пример — разделение смеси распределений в физике и биометрии.
Мягкая Клиент на 70% относится к сегменту A и на 30% к B — это часто ближе к реальности.

Плюсы, минусы и альтернативы

Плюсы

Кластеры произвольной эллиптической формы и ориентации.
Вероятности принадлежности вместо жёстких меток.
Полноценная вероятностная модель: , сэмплирование, BIC.
Обоснованный выбор числа компонент через информационные критерии.
— частный случай GMM со сферическими .

Минусы

Предполагает, что кластеры гауссовы, — а это далеко не всегда так.
EM сходится к локальному оптимуму, результат зависит от инициализации.
Полная требует много данных: параметров $O (d^{2})$ на компоненту.
Медленнее и хуже масштабируется.
Может вырождаться: компонента схлопывается на одной точке с нулевой .

Брать, если

Кластеры вытянутые или перекрывающиеся.
Нужны вероятности принадлежности, а не жёсткие метки.
Нужна вероятностная модель данных для или генерации.

Не брать, если

Кластеры заведомо не гауссовы (кольца, серпы) — берите .
Размерность высока, а данных мало: полная не оценится.
Нужна максимальная скорость на миллионах объектов.

Чем заменяют

k-Meansактуальноk-средних · Классическое машинное обучениеКластеры сферические и нужна скорость: GMM здесь избыточен.DBSCANактуальноDBSCAN · Классическое машинное обучениеФорма кластеров совсем не эллиптическая, и есть шум.Density EstimationактуальноОценка плотности · Обучение без учителяНужна именно плотность распределения, а не разбиение на группы.

Тема также относится к главам:Обучение без учителяКластеризация · Плотность и аномалии

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

19:39Параметризация сцены через смесь гауссианКомпьютерное зрение 3D · Лекция «Gaussian Splatting» · 2 ч 41 мин

Связанные темы

Кластеризация и её оценка

Следующий шагДальше по связи: k-MeansРазбивает объекты на k кластеров, минимизируя суммарное расстояние до центроидов.Перейти →

Глава «Классическое машинное обучение» последний раз правилась 27 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

k-Means75%

DBSCAN75%

Clustering75%

Density Estimation75%

Association Rules75%

Silhouette Score75%

Davies–Bouldin75%

Calinski–Harabasz75%

Mapper75%

Компонента смеси

Мягкое отнесение

EM-алгоритм

Тип ковариации

BIC / AIC

GMM

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Смесь распределенийМягкая кластеризация с вероятностями принадлежности.

2EM-алгоритмКак обучать модель, когда метки кластеров неизвестны.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

k-Means75%

DBSCAN75%

Clustering75%

Density Estimation75%

Association Rules75%

Silhouette Score75%

Davies–Bouldin75%

Calinski–Harabasz75%

Mapper75%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

Компонента смеси

Мягкое отнесение

EM-алгоритм

Тип ковариации

BIC / AIC