Linear Algebra

Один объект описывается набором чисел: возраст, доход, количество покупок. Этот набор и есть вектор $x=(x_1,x_2,\dots ,x_d)$, а $d$ — размерность пространства признаков. Вся выборка из $n$ объектов складывается в матрицу $X$ размера $n\times d$: строки — объекты, столбцы — признаки.

Такое представление даёт неожиданно много: расстояние между строками становится мерой похожести клиентов, а обучение линейной модели — поиском одного вектора весов $w$, который «читает» все строки одинаковым способом.

Умножение $y=Ax$ — это не «перемножение чисел», а отображение: каждой точке $x$ сопоставляется новая точка $y$. Матрица полностью задаётся тем, куда она переводит базисные векторы: первый столбец $A$ — образ вектора $(1,0)$, второй — образ $(0,1)$.

• Композиция: $BA$ означает «сначала применить $A$, потом $B$». Отсюда некоммутативность: $AB\ne BA$.
• Ранг — размерность образа. Ранг меньше $d$ означает, что преобразование схлопывает пространство и информация теряется безвозвратно.
• Определитель — во сколько раз меняется объём. Нулевой определитель ⇔ матрица вырождена ⇔ обратной не существует.

Если векторы сонаправлены, произведение максимально; если перпендикулярны — равно нулю. Поэтому косинус угла $\cos \theta =\frac{⟨a,b⟩}{\Vert a\Vert \Vert b\Vert }$ используют как меру смысловой близости эмбеддингов: длина вектора там часто не важна, важно направление.

В механизме внимания то же самое: ${\text{score}}_{ij}=⟨q_i,k_j⟩/\sqrt{d}$ — насколько $i$-й запрос «резонирует» с $j$-м ключом. Деление на $\sqrt{d}$ нужно, чтобы при большой размерности значения не улетали в область, где softmax насыщается.

Собственный вектор — направление, которое преобразование не поворачивает, а только масштабирует: $Av=\lambda v$. Для ковариационной матрицы данных собственные векторы — это оси, вдоль которых разброс максимален, а собственные значения — величина этого разброса.

• Первые $k$ компонент SVD дают наилучшее приближение матрицы рангом $k$ (теорема Эккарта — Янга) — это математическая основа PCA и сжатия эмбеддингов.
• Отношение ${\sigma }_1/{\sigma }_r$ — число обусловленности: чем оно больше, тем сильнее шум в данных влияет на решение системы.
• LoRA обучает низкоранговую поправку $\Delta W=BA$ — ту же идею «мало компонент хватает» применяют к весам LLM.