КабинетПоиск
Обучение без учителя

Clustering

Кластеризация

актуальноТекущий рабочий стандарт

Направления: Машинное обучение · Обучение без учителя

Разбиение объектов на группы похожих без заранее известных меток.

Ключевые тезисы

  • Семейства: центроидные, плотностные, иерархические, спектральные.
  • Результат целиком зависит от выбранной метрики расстояния.
  • Оценка качества без меток — силуэт, Davies–Bouldin, Calinski–Harabasz.

Какую задачу решает

ищет группы в данных, когда меток нет вовсе. Задача принципиально хуже определена, чем классификация: правильного ответа не существует, и одни и те же данные можно осмысленно разбить несколькими разными способами в зависимости от того, что считать похожестью.

Отсюда практический вывод: выбор алгоритма — это выбор предположения о форме групп. предполагает сферические кластеры сопоставимого размера, GMM — эллиптические, — плотные области произвольной формы, иерархические методы — вложенную структуру. Ошибка в предположении даёт разбиение, которое выглядит осмысленным и не значит ничего.

Проверка на стабильность за десять минут

Запустите на 90% случайной подвыборки, повторите пять раз с разными подвыборками и посмотрите, насколько согласуются разбиения (например, по индексу Adjusted Rand между парами прогонов). Согласие 0.8 и выше — структура устойчива, ей можно верить. Согласие 0.3 — алгоритм каждый раз находит новое, то есть режет однородное облако произвольным образом. Эта проверка честнее любой внутренней метрики: она отвечает на вопрос «есть ли здесь группы вообще», а не «насколько компактно получилось».

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

СемействоПримерыФорма кластеровНужно ли задавать K
Центроидные, k-medoidsсферическиеда
Плотностные, HDBSCANпроизвольнаянет
Иерархическиеагломеративнаялюбая, дерево вложенностинет (режем дендрограмму)
Спектральныеspectral clusteringсвязные, невыпуклыеда
кластеров k3
итераций4
инерция (WCSS)0.880
k-means на трёх компактных группах — тот случай, где его предположения выполняются

  • Внутренние метрики: силуэт, Davies–Bouldin, Calinski–Harabasz — сравнивают разбиения между собой.
  • Устойчивость: перезапустите на подвыборках; если разбиение каждый раз новое, структуры в данных, скорее всего, нет.
  • Внешняя валидация: если есть хоть какая-то разметка (даже частичная), сравните с ARI или NMI.
  • Интерпретируемость: кластеры должны отличаться по признакам так, чтобы это можно было объяснить словами.

Где применяется

  • клиентовГруппы для разной коммуникации и продуктовых предложений.
  • Разведочный анализПервый взгляд на структуру незнакомых данных.
  • Сжатие и Кодовые книги, палитры, прототипы для ускорения поиска.
  • ПредобработкаНомер кластера как для модели с учителем.
  • Группировка обращенийАвтоматическое выделение тем из потока текстов.

Плюсы, минусы и альтернативы

Плюсы

  • Не требует разметки — работает на любых имеющихся данных.
  • Часто вскрывает структуру, о которой не подозревали.
  • Результат интерпретируем через профили кластеров.
  • Быстрые алгоритмы масштабируются до миллионов объектов.

Минусы

  • Нет объективного критерия правильности.
  • Результат сильно зависит от метрики, и параметров.
  • Алгоритм выдаёт кластеры даже там, где структуры нет.
  • Внутренние метрики систематически предпочитают кластеры.
  • В высокой размерности расстояния теряют смысл.

Брать, если

  • Меток нет, а структуру найти нужно.
  • Задача — разведка данных перед постановкой основной задачи.
  • Нужны группы для разного обращения с объектами.

Не брать, если

  • Есть метки и понятная цель — обучение с учителем даст осмысленный результат.
  • Размерность высока, а снизить её нечем.
  • Результат нельзя проверить предметно — тогда его не на что опереть.

Чем заменяют

k-Meansактуальноk-средних · Классическое машинное обучениеКластеры сферические и нужна скорость.DBSCANактуальноDBSCAN · Классическое машинное обучениеФорма произвольная и есть шум.Dimensionality ReductionактуальноСнижение размерности · Обучение без учителяРазмерность высока: сначала снизьте её.
Тема также относится к главам:Топологический анализ данныхПрименениеГрафы и сетиОсновы

Связанные темы

Работа с корпусами текстов · Машинное обучение на графах · Кластеризация и её оценка

Graph Basics85%

Основы графов · Графы и сети

Вершины, рёбра, веса и направления. Матрица смежности и список рёбер — два способа хранить одно и то же.

Centrality85%

Центральности · Графы и сети

Меры важности вершины: по числу связей, по посредничеству, по близости и по влиянию соседей.

PageRank85%

PageRank · Графы и сети

Стационарное распределение случайного блуждания по графу с телепортацией. Классический алгоритм ранжирования, который до сих пор используется как признак.

Community Detection85%

Поиск сообществ · Графы и сети

Разбиение графа на плотно связанные группы: клиенты одного круга, связанные аккаунты, тематические кластеры документов.

Graph Embeddings85%

Графовые эмбеддинги · Графы и сети

Векторные представления вершин, в которых близость отражает связанность в графе.

Graph Neural Networks85%

Графовые нейросети · Графы и сети

Нейросети, работающие прямо на структуре графа: представление вершины обновляется по представлениям соседей.

Message Passing85%

Передача сообщений · Графы и сети

Единая схема, к которой сводятся почти все архитектуры GNN: собрать сообщения от соседей, агрегировать, обновить состояние.

Link Prediction85%

Предсказание связей · Графы и сети

Задача «появится ли ребро между вершинами»: рекомендации друзей и товаров, достройка графов знаний.

Knowledge Graphs85%

Графы знаний · Графы и сети

Факты в виде троек «субъект — предикат — объект». Структурированная память, которую всё чаще подключают к языковым моделям.

Network Motifs85%

Мотивы и триады · Графы и сети

Маленькие повторяющиеся подграфы, встречающиеся чаще, чем в случайной сети. Хорошие признаки для классификации вершин.

Eigenvector85%

Собственный вектор · Математический справочник

Направление, сохраняющееся при линейном преобразовании с точностью до масштаба.

Topic Modeling75%

Тематическое моделирование · Обработка естественного языка

Автоматическое выделение тем в коллекции документов: от классического LDA до кластеризации эмбеддингов.

Summarization75%

Суммаризация · Обработка естественного языка

Сжатие текста с сохранением смысла: извлекающая (выбор предложений) и абстрактивная (генерация).

Text classification75%

Классификация текстов · Обработка естественного языка

Отнесение документа к одной или нескольким категориям: от спам-фильтра до маршрутизации тикетов.

LLM Evaluation75%

Оценка языковых моделей · Генеративный ИИ

Как измерять качество генерации: бенчмарки, оценка моделью-судьёй и человеческие сравнения.

Perplexity75%

Перплексия · Метрики

Экспонента кросс-энтропии языковой модели: между сколькими равновероятными вариантами она в среднем выбирает.

k-Means75%

k-средних · Классическое машинное обучение

Разбивает объекты на k кластеров, минимизируя суммарное расстояние до центроидов.

DBSCAN75%

DBSCAN · Классическое машинное обучение

Плотностная кластеризация: кластеры — это связные области высокой плотности, остальное объявляется шумом.

GMM75%

Смесь гауссиан · Классическое машинное обучение

Вероятностная модель: данные порождаются смесью нормальных распределений, параметры оцениваются EM-алгоритмом.

Density Estimation75%

Оценка плотности · Обучение без учителя

Восстановление распределения данных: где объекты встречаются часто, а где почти никогда.

Association Rules75%

Ассоциативные правила · Обучение без учителя

Поиск закономерностей вида «если A, то B» в транзакционных данных.

Silhouette Score75%

Силуэт · Метрики

Сравнивает среднее расстояние объекта до своего кластера и до ближайшего чужого.

Davies–Bouldin75%

Индекс Дэвиса — Болдина · Метрики

Отношение внутрикластерного разброса к расстоянию между кластерами; чем меньше, тем лучше.

Calinski–Harabasz75%

Индекс Калинского — Харабаша · Метрики

Отношение межкластерной дисперсии к внутрикластерной; чем больше, тем лучше разделение.

Mapper75%

Алгоритм Mapper · Топологический анализ данных

Строит граф-скелет данных: проекция фильтрующей функцией, покрытие интервалами, локальная кластеризация и склейка.

Кому эта тема нужна

Усиливает профиль: Data Scientist.

Спрашивают на собеседовании: Магнит — Ассортимент и спрос, Самокат — Спрос и ассортимент даркстора, Dodo Brands — Прогноз заказов и планирование смен, Спортмастер — Рекомендации и омниканальность, Лаборатория Касперского — Детектирование вредоносного ПО.

Добавить в учебную программу
Следующий шагДальше по связи: Graph BasicsВершины, рёбра, веса и направления. Матрица смежности и список рёбер — два способа хранить одно и то же.Перейти →
Dimensionality Reduction →

Глава «Обучение без учителя» последний раз правилась . Нашли ошибку — напишите.