Коэффициент растяжения вдоль направления, которое преобразование не поворачивает.
- преобразование пространства
- собственный вектор: направление, которое преобразование не поворачивает
- собственное значение: во сколько раз растягивается это направление. В PCA — дисперсия вдоль компоненты
Ключевые тезисы
- Сумма равна следу .
- В они равны вдоль главных компонент.
- Знаки определяют тип критической точки.
Подробный разбор
- сила регуляризации: штраф за сложность модели
- матрица преобразования
- Сумма равна следу , произведение — определителю.
- В ковариационной равны вдоль главных компонент.
- Знаки определяют тип критической точки: все положительные — минимум, разные знаки — седло.
- Все у — локальный минимум; есть отрицательные — седло.
- Большой разброс — плохая обусловленность и медленная сходимость.
- Малые ковариационной — почти линейно зависимые (мультиколлинеарность).
Видеолекции
Записи университетских курсов, где эта тема звучит. Тайм-кодов у них нет, поэтому открываются они с начала.
Связанные темы
Представления и снижение размерности · Линейная алгебра в ML
PCA91%
Метод главных компонент · Классическое машинное обучениеОртогональная проекция на направления максимальной дисперсии — линейное сжатие с минимальной потерей информации.
Eigenvector91%
Собственный вектор · Математический справочникНаправление, сохраняющееся при линейном преобразовании с точностью до масштаба.
Dimensionality reduction70%
Снижение размерности · ДанныеПроекция данных в пространство меньшей размерности с сохранением структуры — против проклятия размерности.
Dimensionality Reduction70%
Снижение размерности · Обучение без учителяКомпактное представление данных, сохраняющее важную часть структуры.
Representation Learning70%
Обучение представлений · Обучение без учителяМодель сама учится полезным признакам, чаще всего через self-supervised задачи.
Autoencoders70%
Автоэнкодеры · Глубокое обучениеСеть учится восстанавливать вход через узкое место, получая сжатое представление.
Embeddings70%
Эмбеддинги · Обработка естественного языкаПлотные векторные представления объектов, где геометрическая близость означает смысловое сходство.
Linear Algebra70%
Линейная алгебра · ОсновыВекторы и матрицы — способ описать данные и преобразования над ними. Обучение модели почти всегда сводится к последовательности матричных операций.
Vector70%
Вектор · Математический справочникУпорядоченный набор чисел; в ML — представление объекта в пространстве признаков.
Matrix70%
Матрица · Математический справочникПрямоугольная таблица чисел, задающая линейное преобразование или набор объектов.
Norm70%
Норма · Математический справочникМера длины вектора; выбор нормы определяет геометрию задачи.
Distance70%
Расстояние · Математический справочникМера непохожести объектов — основа кластеризации, k-NN и поиска.
Metric spaces70%
Метрические пространства · Топологический анализ данныхМножество с функцией расстояния. Любой TDA-пайплайн начинается с выбора метрики.
Профильная компетенция для роли: Исследователь.
Усиливает профиль: Data Scientist.
Глава «Математический справочник» последний раз правилась . Нашли ошибку — напишите.