КабинетПоиск
Генеративный ИИ

Autoregressive Models

Авторегрессионные модели

актуальноТекущий рабочий стандарт

Направления: Генеративный ИИ · Большие языковые модели

Порождают объект по частям, каждый раз предсказывая следующий элемент по предыдущим.

Что означает каждый компонент
  • вероятность всей последовательности целиком
  • произведение по шагам: каждый следующий элемент добавляет множитель
  • вероятность следующего токена при уже сгенерированном префиксе — это и предсказывает модель

Ключевые тезисы

  • Дают точное и стабильное обучение.
  • Генерация последовательна, поэтому медленная.
  • Все современные устроены именно так.

Какую задачу решает

Авторегрессионная модель раскладывает совместное распределение в цепочку условных: вероятность текста — это произведение вероятностей каждого следующего при известных предыдущих. Разложение точное, никаких приближений, и обучение сводится к обычной классификации по словарю.

Отсюда все свойства семейства. считается точно, обучение параллелится (все позиции предсказываются одновременно под каузальной маской), а вот генерация строго последовательна: -й нельзя получить, не получив -й. Всё ускорение языковых моделей — борьба именно с этим.

Что делает температура

Модель предсказывает следующее слово после «Столица Франции —» с логитами: Париж 8.0, Лион 3.0, Марсель 2.5. При отдаёт Парижу практически единицу — ответ детерминирован. При Париж получает около 0.99, остальные делят остаток. При вероятность Парижа падает примерно до 0.8, и один раз из пяти модель ответит «Лион». Отсюда правило: фактические ответы генерируйте при , творческий текст — при –, а всё, что выше 1.5, годится только для мозгового штурма.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

СтратегияКак работаетКогда
Greedyвсегда самый вероятный детерминированные задачи, извлечение фактов
Beam search гипотез параллельноперевод, суммаризация
Top-kсэмплирование из лучшихдиалог
Top-p (nucleus)из минимального набора с суммарной вероятностью универсальный дефолт
На практике

Температура 0 не гарантирует полной воспроизводимости в распределённом : порядок сложения чисел с плавающей точкой на может меняться между запусками.

  • Спекулятивное декодирование: маленькая модель предлагает несколько , большая проверяет их за один проход.
  • Батчинг: непрерывный (continuous batching) резко повышает утилизацию при многих запросах.
  • Квантизация до int8/int4 снижает объём чтения весов — а именно он ограничивает скорость декодирования.
  • PagedAttention экономит память под KV-кэш и позволяет держать больше одновременных запросов.

Где применяется

  • и вся генеративная линейка — авторегрессионные декодеры.
  • Генерация кодаПоследовательная природа кода идеально ложится на модель следующего .
  • Звук и музыкаWaveNet и его наследники порождают аудио отсчёт за отсчётом или за токеном.
  • Временные рядыПрогноз на много шагов вперёд как последовательная генерация значений.
  • Изображения Картинка кодируется дискретными (VQ), дальше работает та же авторегрессия.

Плюсы, минусы и альтернативы

Плюсы

  • Точное — можно честно сравнивать модели и находить .
  • Обучение полностью параллельно по позициям.
  • Простая и устойчивая цель обучения: обычная .
  • Естественно работает с последовательностями переменной длины.
  • Отлично масштабируется — все законы масштабирования получены именно здесь.

Минусы

  • Последовательная генерация: — проходов сети.
  • Накопление ошибки: ранняя неудачная догадка портит всё продолжение.
  • Требует фиксированного словаря и со своими артефактами.
  • Стоимость и память растут с длиной контекста (KV-кэш).
  • Двусторонний контекст недоступен: модель по построению не видит будущего.

Брать, если

  • Данные последовательные и порядок содержателен.
  • Нужно точное или оценка неопределённости.
  • Нужна генерация переменной длины с остановкой по содержанию.

Не брать, если

  • Нужна генерация за один шаг с жёсткой латентностью — смотрите или .
  • Задача — понимание, а не порождение: энкодер даст двусторонний контекст и обойдётся дешевле.

Чем заменяют

Diffusion ModelsновинкаДиффузионные модели · Глубокое обучениеДанные непрерывные (изображения, звук как сигнал), и параллельная генерация важнее точного .DistillationновинкаДистилляция · Генеративный ИИМодель работает, но слишком медленно: нужен способ сократить число проходов.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

5:57Авторегрессионные модели компьютерного зренияГенеративные модели · Лекция «PixelCNN архитектура» · 1 ч 13 мин

Связанные темы

Генеративные модели

VAE80%

Вариационный автоэнкодер · Глубокое обучение

Вероятностный автоэнкодер: кодирует объект в распределение и учится генерировать из латентного пространства.

GAN80%

Генеративно-состязательные сети · Глубокое обучение

Генератор и дискриминатор обучаются в игре с нулевой суммой, повышая реалистичность выборок.

Diffusion Models80%

Диффузионные модели · Глубокое обучение

Модель учится обращать процесс постепенного зашумления, превращая шум в изображение за серию шагов.

Generative Models80%

Генеративные модели · Генеративный ИИ

Модели, обучающие распределение данных и умеющие порождать новые объекты из него.

VAE80%

Вариационный автоэнкодер · Генеративный ИИ

Генерация через непрерывное вероятностное латентное пространство.

GAN80%

GAN · Генеративный ИИ

Состязательная пара сетей, дающая резкие и реалистичные изображения.

Diffusion80%

Диффузия · Генеративный ИИ

Итеративное расшумление — текущий стандарт генерации изображений, видео и аудио.

Density Estimation80%

Оценка плотности · Обучение без учителя

Восстановление распределения данных: где объекты встречаются часто, а где почти никогда.

Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Генеративный ИИ и LLM24
Следующий шагПроверить себя: Генеративный ИИ и LLMТема встречается в этом тесте 1 раз. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →
← Generative ModelsVAE →

Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.