GPT

Авторегрессионный декодер: предсказывает следующий , что оказалось достаточно универсальной задачей.

Ключевые тезисы

Causal-маска запрещает заглядывать в будущее при обучении.
Few-shot обучение через без изменения весов.
Instruction tuning и превращают языковую модель в ассистента.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

p (x_{1}, \dots, x_{T}) = t = 1 \prod T p (x_{t} ∣ x_{< t})

Обозначения

$x$ объект: вектор признаков
$p$ вероятность (или плотность распределения)
$\prod$ произведение по всем элементам

Causal mask запрещает смотреть вперёд, поэтому обучение идёт параллельно по всем позициям.
KV-кэш на хранит ключи и значения прошлых — иначе каждый новый токен требовал бы пересчёта всей последовательности.
Декодирование: greedy, beam search, sampling с температурой, top-k, top-p (nucleus).

p_{i} = \frac{exp ( z _{i} / T )}{\sum _{j} exp ( z _{j} / T )}

Обозначения

$p$ вероятность (или плотность распределения)
$\sum$ суммирование по всем перечисленным элементам
$exp$ экспонента

Температура

T

: при

T \to 0

генерация становится жадной, при большом

T

— хаотичной

Кошка

села

на

тёплый

коврик

Кошка

0.66

0.05

0.04

0.06

0.20

села

0.14

0.57

0.10

0.06

0.13

на

0.07

0.14

0.47

0.11

0.21

тёплый

0.07

0.05

0.08

0.50

0.30

коврик

0.16

0.06

0.09

0.20

0.49

запрос (query)Кошка

максимум вниманияКошка

вес0.657

сумма весов строки1.000

Температура softmax (√d)1.0Строка-запросКошка

Тот же softmax с температурой: понижая её, вы делаете распределение почти детерминированным

квадратично по длине: удвоение контекста учетверяет вычисления prefill.
KV-кэш растёт линейно и часто становится основным потребителем памяти при .
Эффект «потери середины»: информация в середине длинного контекста используется хуже, чем в начале и конце.
Поэтому с точным retrieval нередко работает лучше, чем «закинуть весь документ в контекст».