Matrix — Матрица

Прямоугольная таблица чисел, задающая линейное преобразование или набор объектов.

Ключевые тезисы

Умножение матриц = композиция преобразований.
Транспонирование, обращение, ранг — базовые операции.
Батч данных — это матрица «объекты × признаки».

Тема также относится к главам:ОсновыАлгебра и анализ

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Умножение, ранг, обращение

Три операции, которые встречаются постоянно.

(A B)_{ij} = k \sum A_{ik} B_{k j}, (A B)^{⊤} = B^{⊤} A^{⊤}

Обозначения

$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$A$ матрица преобразования
$\sum$ суммирование по всем перечисленным элементам
$x^{⊤}$ транспонирование: строка вместо столбца

Размерности должны согласовываться: $(n \times k) (k \times m) = (n \times m)$ . Большая часть ошибок в коде — именно здесь.
Ранг — число линейно независимых строк или столбцов; неполный ранг означает избыточность признаков.
Обратная матрица существует только при полном ранге; на практике вместо явного обращения решают систему.

Матрицы и батчи

Почему всё считают матрично, а не в цикле.

y^= X w (n \times d) (d \times 1) = (n \times 1)

Обозначения

$y^$ предсказание модели
$y$ истинное значение целевой переменной
$n$ размерность пространства или число объектов

Одно матричное умножение вместо цикла по объектам

Векторизация — не только про красоту записи: BLAS и GPU выполняют матричные операции на порядки быстрее, чем интерпретируемый цикл. Правило простое: если в коде цикл по объектам батча, почти наверняка его можно заменить одной операцией.

Связанные темы

Линейная алгебра в ML

Linear Algebra70%

Линейная алгебра · Основы

Векторы и матрицы — способ описать данные и преобразования над ними. Обучение модели почти всегда сводится к последовательности матричных операций.

Vector70%

Вектор · Математический справочник

Упорядоченный набор чисел; в ML — представление объекта в пространстве признаков.

Norm70%

Норма · Математический справочник

Мера длины вектора; выбор нормы определяет геометрию задачи.

Distance70%

Расстояние · Математический справочник

Мера непохожести объектов — основа кластеризации, k-NN и поиска.

Eigenvalue70%

Собственное значение · Математический справочник

Коэффициент растяжения вдоль направления, которое преобразование не поворачивает.

Eigenvector70%

Собственный вектор · Математический справочник

Направление, сохраняющееся при линейном преобразовании с точностью до масштаба.

PCA70%

Метод главных компонент · Классическое машинное обучение

Ортогональная проекция на направления максимальной дисперсии — линейное сжатие с минимальной потерей информации.

Metric spaces70%

Метрические пространства · Топологический анализ данных

Множество с функцией расстояния. Любой TDA-пайплайн начинается с выбора метрики.