Dimensionality Reduction

Компактное представление данных, сохраняющее важную часть структуры.

Ключевые тезисы

— линейный базис, UMAP и t-SNE — нелинейная визуализация.
часто улучшает последующую .
Помните: 2D-картинка — это проекция, а не сами данные.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Расстояния между кластерами на картинке не означают реальной удалённости.
Размеры кластеров на картинке не отражают их плотность или численность.
perplexity (t-SNE) и n_neighbors (UMAP) кардинально меняют результат — всегда смотрите несколько значений.
UMAP умеет transform для новых точек, t-SNE — нет.

На практике

Перед t-SNE и UMAP почти всегда сначала применяют до 30–50 компонент: это ускоряет вычисления и снижает шум.

Цель	Метод
для модели	,
Картинка для человека	UMAP, t-SNE
Борьба с мультиколлинеарностью
Нелинейное многообразие	UMAP, Isomap,

Тема также относится к главам:Классическое машинное обучениеСнижение размерности

Связанные темы

Плотностная кластеризация · Представления и снижение размерности

Eigenvector96%

Собственный вектор · Математический справочник

Направление, сохраняющееся при линейном преобразовании с точностью до масштаба.

HDBSCAN85%

HDBSCAN · Обучение без учителя

Иерархическая версия DBSCAN: перебирает плотности автоматически и находит кластеры разной плотности.

Spectral Clustering85%

Спектральная кластеризация · Обучение без учителя

Кластеризация через собственные векторы матрицы Лапласа графа сходства: находит невыпуклые и вложенные структуры.

DBSCAN85%

DBSCAN · Классическое машинное обучение

Плотностная кластеризация: кластеры — это связные области высокой плотности, остальное объявляется шумом.

Persistent Homology85%

Персистентные гомологии · Топологический анализ данных

Центральный метод TDA: вместо одного порога ε рассматривается вся фильтрация, и отслеживается, когда топологические особенности рождаются и умирают.

PCA70%

Метод главных компонент · Классическое машинное обучение

Ортогональная проекция на направления максимальной дисперсии — линейное сжатие с минимальной потерей информации.