GMM

Вероятностная модель: данные порождаются смесью нормальных распределений, параметры оцениваются EM-алгоритмом.

Ключевые тезисы

Даёт мягкое отнесение: вероятность принадлежности объекта каждому кластеру.
Ковариационные матрицы позволяют кластерам быть вытянутыми и повёрнутыми.
Число компонент выбирают по BIC/AIC; k-means — частный вырожденный случай GMM.

Тема также относится к главам:Обучение без учителяКластеризация · Плотность и аномалии

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Смесь распределений

Мягкая кластеризация с вероятностями принадлежности.

p (x) = k = 1 \sum K π_{k} N (x ∣ μ_{k}, Σ_{k}), k \sum π_{k} = 1

Обозначения

$N (μ, σ^{2})$ нормальное распределение со средним μ и дисперсией σ²
$μ$ среднее значение
$x$ объект: вектор признаков
$n$ число объектов в выборке
$p$ вероятность (или плотность распределения)
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$\sum$ суммирование по всем перечисленным элементам

Каждый объект принадлежит всем кластерам с некоторыми вероятностями. Ковариационные матрицы $Σ_{k}$ позволяют кластерам быть вытянутыми и повёрнутыми — k-means этого не умеет, потому что неявно предполагает $Σ = σ^{2} I$ .

EM-алгоритм

Как обучать модель, когда метки кластеров неизвестны.

E-шаг: при текущих параметрах считаем ответственности $γ_{ik}$ — вероятность, что объект $i$ порождён компонентой $k$ .
M-шаг: при фиксированных ответственностях пересчитываем $π_{k}$ , $μ_{k}$ , $Σ_{k}$ как взвешенные оценки.

γ_{ik} = \frac{π _{k} N ( x _{i} ∣ μ _{k} , Σ _{k} )}{\sum _{j} π _{j} N ( x _{i} ∣ μ _{j} , Σ _{j} )}

Обозначения

$N (μ, σ^{2})$ нормальное распределение со средним μ и дисперсией σ²
$μ$ среднее значение
$γ$ параметр ядра RBF: радиус влияния объекта
$x$ объект: вектор признаков
$n$ число объектов в выборке
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$\sum$ суммирование по всем перечисленным элементам

E-шаг: мягкое распределение объекта по компонентам

На практике

Правдоподобие не убывает на каждой итерации, но сходимость возможна в локальный максимум — поэтому запускают несколько раз с разной инициализацией. Число компонент выбирают по BIC/AIC.

Связанные темы

Кластеризация и её оценка

Ключевые тезисы

Подробный разбор

Смесь распределений

EM-алгоритм

Связанные темы

k-Means75%

DBSCAN75%

Clustering75%

Density Estimation75%

Association Rules75%

Silhouette Score75%

Davies–Bouldin75%

Calinski–Harabasz75%

Mapper75%