Attention

Каждая позиция смотрит на все остальные и взвешивает их по релевантности — прямой доступ к контексту без рекуррентности.

Attention = softmax (\frac{Q K ^{⊤}}{;;} \frac{;;}{d _{k}}) V

Что означает каждый компонент

$Q K^{⊤}$ совместимость запросов и ключей: скалярное произведение показывает, насколько токены «резонируют»
$d_{k}$ нормировка на размерность: без неё скоры растут, softmax насыщается и градиенты исчезают
$V$ значения, которые собираются с весами внимания — то, что реально переносится между позициями

Ключевые тезисы

Queries, keys и values задают, что ищем, где ищем и что забираем.
Multi-head внимание позволяет одновременно отслеживать разные типы связей.
Квадратичная сложность по длине последовательности — главное ограничение.

Тема также относится к главам:Обработка естественного языкаМодели

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Query, Key, Value

Механизм поиска по содержимому, встроенный в сеть.

Каждый токен порождает три вектора: query («что я ищу»), key («чем я могу быть полезен») и value («что я отдам, если меня выберут»). Совместимость запроса и ключа задаётся скалярным произведением.

Attention (Q, K, V) = softmax (\frac{Q K ^{⊤}}{d _{k}}) V

Обозначения

$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$x^{⊤}$ транспонирование: строка вместо столбца

Деление на $d_{k}$ не косметика: при большой размерности скалярные произведения растут, softmax насыщается и градиенты исчезают.

Кошка

села

на

тёплый

коврик

Кошка

0.66

0.05

0.04

0.06

0.20

села

0.14

0.57

0.10

0.06

0.13

на

0.07

0.14

0.47

0.11

0.21

тёплый

0.07

0.05

0.08

0.50

0.30

коврик

0.16

0.06

0.09

0.20

0.49

запрос (query)Кошка

максимум вниманияКошка

вес0.657

сумма весов строки1.000

Температура softmax (√d)1.0Строка-запросКошка

Понижайте температуру: распределение внимания из размытого становится почти one-hot — модель выбирает один токен

Multi-head и маски

Зачем несколько голов и как запретить смотреть в будущее.

Одна голова усредняет все типы связей. Несколько голов работают в разных подпространствах: одна отслеживает синтаксис, другая — кореференцию, третья — позиционную близость. Результаты конкатенируются и проецируются обратно.

Padding mask — не смотреть на технические токены-заполнители.
Causal mask — в декодере запрещает видеть будущие позиции: без неё авторегрессионное обучение было бы жульничеством.
Cross-attention — запросы из декодера, ключи и значения из энкодера: так работает перевод и мультимодальность.

На практике

Сложность внимания — $O (L^{2} d)$ по длине последовательности. Отсюда все усилия последних лет: FlashAttention (та же математика, но эффективная работа с памятью), разреженное и линейное внимание.

Связанные темы

Внимание и трансформеры

Ключевые тезисы

Подробный разбор

Query, Key, Value

Multi-head и маски

Связанные темы

Transformers85%

Attention85%

Transformers85%

BERT85%

GPT85%

Vision Transformers85%

Transformer forecasting85%

LLM85%