Autoregressive Models — Авторегрессионные модели

Порождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.

p (x) = t = 1 \prod T p (x_{t} ∣ x_{< t})

Что означает каждый компонент

$p (x)$ вероятность всей последовательности целиком
$\prod_{t}$ произведение по шагам: каждый следующий элемент добавляет множитель
$p (x_{t} ∣ x_{< t})$ вероятность следующего токена при уже сгенерированном префиксе — это и предсказывает модель

Ключевые тезисы

Дают точное правдоподобие и стабильное обучение.
Генерация последовательна, поэтому медленная.
Все современные LLM устроены именно так.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Стратегии декодирования

Одна модель — разное поведение в зависимости от того, как вы сэмплируете.

Стратегия	Как работает	Когда
Greedy	всегда самый вероятный токен	детерминированные задачи, извлечение фактов
Beam search	$k$ гипотез параллельно	перевод, суммаризация
Top-k	сэмплирование из $k$ лучших	диалог
Top-p (nucleus)	из минимального набора с суммарной вероятностью $p$	универсальный дефолт

На практике

Температура 0 не гарантирует полной воспроизводимости в распределённом инференсе: порядок сложения чисел с плавающей точкой на GPU может меняться между запусками.

Ускорение генерации

Как обойти последовательность по токенам.

Спекулятивное декодирование: маленькая модель предлагает несколько токенов, большая проверяет их за один проход.
Батчинг: непрерывный батчинг (continuous batching) резко повышает утилизацию GPU при многих запросах.
Квантизация до int8/int4 снижает объём чтения весов — а именно он ограничивает скорость декодирования.
PagedAttention экономит память под KV-кэш и позволяет держать больше одновременных запросов.

Связанные темы

Генеративные модели

VAE80%

Вариационный автоэнкодер · Глубокое обучение

Вероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.

GAN80%

Генеративно-состязательные сети · Глубокое обучение

Генератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.

Diffusion Models80%

Диффузионные модели · Глубокое обучение

Модель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.

Generative Models80%

Генеративные модели · Генеративный ИИ

Модели, обучающие распределение данных и умеющие порождать новые объекты из него.

VAE80%

Вариационный автоэнкодер · Генеративный ИИ

Генерация через непрерывное вероятностное латентное пространство.

GAN80%

GAN · Генеративный ИИ

Состязательная пара сетей, дающая резкие и реалистичные изображения.

Diffusion80%

Диффузия · Генеративный ИИ

Итеративное расшумление — текущий стандарт генерации изображений, видео и аудио.

Density Estimation80%

Оценка плотности · Обучение без учителя

Восстановление распределения данных: где объекты встречаются часто, а где почти никогда.