Проекция данных в пространство меньшей размерности с сохранением структуры — против проклятия размерности.
Ключевые тезисы
- сохраняет глобальную , t-SNE и UMAP — локальную структуру соседства.
- Визуализация в 2D помогает увидеть кластеры, но искажает расстояния.
- дают нелинейное сжатие, обучаемое под конкретные данные.
Подробный разбор
С ростом размерности объём пространства растёт экспоненциально, а данные остаются теми же. Расстояния между ближайшим и дальнейшим соседом сближаются, и методы на основе близости теряют смысл.
- объект: вектор признаков
- предел: к чему стремится выражение
- сходимость: выражение слева стремится к тому, что справа
- норма — длина вектора
Практическое следствие: и по «сырым» высокоразмерным данным обычно предваряют снижением размерности.
| Метод | Что сохраняет | Применение |
|---|---|---|
| глобальную , линейные оси | предобработка, сжатие, декорреляция | |
| t-SNE | локальное соседство | только визуализация |
| UMAP | локальное + частично глобальное | визуализация и |
| то, что нужно для реконструкции | нелинейное сжатие под свои данные |
t-SNE нельзя применять к новым данным (нет transform), а расстояния и размеры кластеров на его картинке не имеют смысла. Это инструмент разглядывания, а не измерения.
Видеолекции
Тайм-кода именно на эту тему в записях нет. Но глава «Данные» разобрана в курсах целиком — с той оговоркой, что место в записи придётся искать самому.
Связанные темы
Представления и снижение размерности
PCA70%
Метод главных компонент · Классическое машинное обучениеОртогональная проекция на направления максимальной дисперсии — линейное сжатие с минимальной потерей информации.
Dimensionality Reduction70%
Снижение размерности · Обучение без учителяКомпактное представление данных, сохраняющее важную часть структуры.
Representation Learning70%
Обучение представлений · Обучение без учителяМодель сама учится полезным признакам, чаще всего через self-supervised задачи.
Autoencoders70%
Автоэнкодеры · Глубокое обучениеСеть учится восстанавливать вход через узкое место, получая сжатое представление.
Embeddings70%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Eigenvalue70%
Собственное значение · Математический справочникКоэффициент растяжения вдоль направления, которое преобразование не поворачивает.
Eigenvector70%
Собственный вектор · Математический справочникНаправление, сохраняющееся при линейном преобразовании с точностью до масштаба.
Глава «Данные» последний раз правилась . Нашли ошибку — напишите.