Сравнивает среднее расстояние объекта до своего кластера и до ближайшего чужого.
Ключевые тезисы
- Значения от −1 до 1; отрицательные говорят о неверном отнесении.
- Часто используется для выбора числа кластеров.
- Дорого считать на больших выборках — берут подвыборку.
Какую задачу решает
У нет правильного ответа, поэтому качество приходится оценивать по самим данным. Силуэт делает это через сравнение двух расстояний для каждого объекта: насколько он близок к своему кластеру и насколько — к ближайшему чужому.
Значение около 1 означает, что объект уверенно принадлежит своему кластеру, около 0 — что он лежит на границе, отрицательное — что его, скорее всего, отнесли не туда. Среднее по всем объектам служит и оценкой разбиения, и способом выбрать число кластеров, но работает эта логика только для компактных выпуклых кластеров.
Два вложенных кольца, найденных идеально правильно, получат низкий или даже отрицательный силуэт: точки внешнего кольца по прямому расстоянию часто ближе к точкам внутреннего, чем к дальней стороне своего собственного кольца. Формально метрика говорит «плохое разбиение», содержательно оно безупречно. Отсюда правило: силуэт корректен для методов, строящих кластеры (, GMM), а плотностные алгоритмы им оценивать нельзя — там смотрят на стабильность кластеров и на предметный смысл.
Подробный разбор
- — объект уверенно в своём кластере; — на границе; — вероятно, отнесён неверно.
- Средний силуэт по выборке используют для выбора числа кластеров.
- Сложность — на больших данных считают по подвыборке.
- Смотрите распределение силуэтов, а не только среднее: один плохой кластер может тонуть в общем числе.
- Silhouette plot по кластерам сразу показывает, какой из них «размазан».
- Метрика зависит от той же метрики расстояния, что и : сравнивать разбиения с разными метриками нельзя.
Где применяется
- Выбор числа кластеровОсновной практический способ подобрать для .
- Сравнение алгоритмовОценка разных методов на одних данных без разметки.
- Диагностика разбиенияГрафик силуэтов показывает, какие кластеры размыты и требуют .
Плюсы, минусы и альтернативы
Плюсы
- Не требует истинных меток.
- Понятная шкала с содержательным нулём.
- Считается для каждого объекта — можно локализовать проблему.
- Помогает выбирать надёжнее метода локтя.
Минусы
- Систематически завышает оценку выпуклых сферических кластеров и занижает вытянутые.
- Вычисление требует всех попарных расстояний — дорого на больших выборках.
- Зависит от метрики расстояния и от .
- В высокой размерности теряет смысл вместе с самим расстоянием.
Брать, если
- Кластеры ожидаются компактными и примерно сферическими.
- Нужно выбрать число кластеров.
- Объектов не слишком много (до десятков тысяч).
Не брать, если
- Кластеры вытянутые или плотностные — силуэт систематически их занижает.
- Данных миллионы: считайте на подвыборке.
Чем заменяют
Связанные темы
Кластеризация и её оценка
k-Means75%
k-средних · Классическое машинное обучениеРазбивает объекты на k кластеров, минимизируя суммарное расстояние до центроидов.
DBSCAN75%
DBSCAN · Классическое машинное обучениеПлотностная кластеризация: кластеры — это связные области высокой плотности, остальное объявляется шумом.
GMM75%
Смесь гауссиан · Классическое машинное обучениеВероятностная модель: данные порождаются смесью нормальных распределений, параметры оцениваются EM-алгоритмом.
Clustering75%
Кластеризация · Обучение без учителяРазбиение объектов на группы похожих без заранее известных меток.
Density Estimation75%
Оценка плотности · Обучение без учителяВосстановление распределения данных: где объекты встречаются часто, а где почти никогда.
Association Rules75%
Ассоциативные правила · Обучение без учителяПоиск закономерностей вида «если A, то B» в транзакционных данных.
Davies–Bouldin75%
Индекс Дэвиса — Болдина · МетрикиОтношение внутрикластерного разброса к расстоянию между кластерами; чем меньше, тем лучше.
Calinski–Harabasz75%
Индекс Калинского — Харабаша · МетрикиОтношение межкластерной дисперсии к внутрикластерной; чем больше, тем лучше разделение.
Mapper75%
Алгоритм Mapper · Топологический анализ данныхСтроит граф-скелет данных: проекция фильтрующей функцией, покрытие интервалами, локальная кластеризация и склейка.
Всё, что названо в описании, разобрано здесь же или в соседней теме — переходы под каждым определением.
Формула
, где — среднее расстояние внутри кластера, — до ближайшего соседнего.
Разбор ниже: Как считается силуэтДиапазон
От −1 до 1. Выше 0.5 обычно считается хорошим разбиением, около 0 — структуры нет.
Разбор ниже: Как считается силуэтГрафик силуэтов
Силуэт каждого объекта, сгруппированный по кластерам: показывает, какой именно кластер плохой.
Разбор ниже: Как использовать на практикеВыбор числа кластеров
Максимум среднего силуэта по — более надёжный ориентир, чем метод локтя.
Разбор ниже: Как использовать на практикеГлава «Метрики» последний раз правилась . Нашли ошибку — напишите.