КабинетПоиск
Глубокое обучение

Transformers

Трансформеры

актуальноТекущий рабочий стандарт

Направления: Глубокое обучение · Трансформеры

Архитектура целиком на : параллельная обработка последовательности вместо пошаговой.

Ключевые тезисы

  • Блок = multi-head + feed-forward + + layer norm.
  • Позиционные кодировки (в т.ч. RoPE) возвращают модели понятие порядка.
  • Единая архитектура для текста, изображений, аудио и мультимодальных данных.

Какую задачу решает

решает две задачи разом: снять ограничение рекуррентности на длину зависимостей и снять ограничение на параллельность обучения. Первое даёт , второе — отказ от последовательного состояния: все позиции считаются одновременно.

Именно параллельность оказалась решающей. Модель, которую можно обучать на тысячах одновременно, масштабируется — и выяснилось, что качество предсказуемо растёт с числом параметров и объёмом данных. Так один архитектурный выбор 2017 года превратился в основу всего современного ИИ: языковых моделей, зрения, звука, генерации изображений и мультимодальных систем.

Куда уходят параметры

Возьмём блок с . : четыре — примерно 67 млн параметров. Feed-forward с расширением в 4 раза: две — около 134 млн. То есть две трети веса модели лежат не во , а в обычных полносвязных слоях. Это объясняет, почему методы вроде заменяют именно feed-forward: там и параметры, и основной резерв экономии.

Подробный разбор

3 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • пропуски: модель сказала «нет», а объект был положительным
  • истинное значение целевой переменной
  • объект: вектор признаков
Pre-norm вариант: до подслоя — так обучение устойчивее
  • Multi-head attention — смешивает информацию между позициями.
  • FFN — два линейных слоя с нелинейностью, работают с каждой позицией отдельно; там сосредоточена большая часть параметров.
  • Residual — путь для .
  • LayerNorm — стабилизация масштабов активаций.

Если перемешать , даст те же результаты в переставленном порядке: сам по себе он ничего не знает о позиции. Поэтому к добавляют позиционную информацию.

  • Абсолютные обучаемые — просто таблица позиций ().
  • Синусоидальные — не требуют обучения и в принципе экстраполируются.
  • RoPE — поворот q и k на угол, зависящий от позиции; стандарт современных , естественно кодирует относительные расстояния.

ТипЗадачиПримеры
Encoder-onlyдвунаправленноеклассификация, , поиск, E5
Decoder-onlycausalгенерация, чат, few-shot, Llama
Encoder-decoderоба + crossперевод, суммаризацияT5, BART

Где применяется

  • , Llama, Claude — декодерные ; всё современное генеративное NLP построено на них.
  • Понимание текстаBERT-подобные энкодеры для классификации, и : дешевле генеративных и часто точнее на этих задачах.
  • Зрение разрезает картинку на патчи и обрабатывает их как последовательность — на больших данных обгоняет .
  • Генерация изображенийВ диффузионных моделях блоки с cross-attention связывают текстовый запрос с картинкой.
  • Не-текстовые последовательностиБелки, музыка, код, траектории, временные ряды — везде, где есть порядок и много данных.

Плюсы, минусы и альтернативы

Плюсы

  • Полная параллельность обучения — единственная архитектура, которая масштабируется до триллионов .
  • Прямые связи между любыми позициями: длинные зависимости берутся без ухищрений.
  • Универсальность: один и тот же блок работает для текста, картинок, звука и .
  • Предсказуемое масштабирование: качество растёт по степенному закону от размера и данных.
  • Огромная экосистема предобученных моделей и инструментов .

Минусы

  • Квадратичная стоимость по длине контекста — главный ограничитель.
  • Прожорлив по данным: без предобучения на больших корпусах проигрывает более простым моделям.
  • дорог и требует KV-кэша, растущего с длиной диалога.
  • Обучение капризно: нужны warmup, аккуратная инициализация и pre-norm.
  • Плохо экстраполирует на длины, которых не видел при обучении.
  • Непрозрачен: почему модель ответила именно так — открытый вопрос.

Брать, если

  • Есть предобученная модель под вашу модальность — это почти всегда лучший старт.
  • Данных много и важны дальние зависимости.
  • Нужно связать несколько модальностей одной архитектурой.

Не брать, если

  • Данных тысячи примеров и предобучения нет: , или обучатся лучше.
  • должен укладываться в микроконтроллер или в жёсткий бюджет по .
  • Задача — обычная таблица: там не даёт преимущества над бустингом.

Чем заменяют

Mixture of ExpertsновинкаСмесь экспертов · Глубокое обучениеНужно больше параметров без роста стоимости шага — заменяем feed-forward на разреженный набор экспертов.LSTMклассикаLSTM · Глубокое обучениеРесурсы ограничены, данных немного, а последовательности короткие.TransformersактуальноТрансформеры в NLP · Обработка естественного языкаНужен прикладной разбор именно в NLP.
Тема также относится к главам:Обработка естественного языкаМоделиТрёхмерное зрениеПредставления сцены

Видеолекции

Записи университетских курсов, где эта тема звучит. Где у записи есть тайм-коды, ссылка открывает её с нужной секунды; где их не проставили — с начала.

1:17:25Трансформерные подходы: Trajectory Transformer и Decision TransformerОбучение с подкреплением · Лекция «Offline Reinforcement Learning» · 2 ч 50 мин27:30Введение в тему: развитие многовидовых трансформеровКомпьютерное зрение 3D · Лекция «Развитие многовидовых трансформеров» · 2 ч 18 мин1:01:27Высокая арифметическая интенсивность трансформеровПрикладной MLOps · Лекция «Ускорение вычислений и инференс» · 2 ч 52 мин1:14:25Трансформеры для облаков точек (Point Transformer)Компьютерное зрение 3D · Лекция «Обработка облаков точек» · 2 ч 35 мин9:15Архитектура Transformer и механизм вниманияОбучение с подкреплением · Лекция «Выравнивание языковых моделей» · 2 ч 16 минс началаТрансформерыГлубокое обучение · Лекция · 3 ч 15 мин

Связанные темы

Внимание и трансформеры

Attention85%

Механизм внимания · Глубокое обучение

Каждая позиция смотрит на все остальные и взвешивает их по релевантности — прямой доступ к контексту без рекуррентности.

Attention85%

Внимание в NLP · Обработка естественного языка

Изначально придумано, чтобы декодер перевода мог смотреть на нужные слова исходного предложения.

Transformers85%

Трансформеры в NLP · Обработка естественного языка

Основа всех современных языковых моделей: encoder, decoder или их комбинация.

BERT85%

BERT · Обработка естественного языка

Двунаправленный энкодер, предобученный на восстановлении замаскированных токенов.

GPT85%

GPT · Обработка естественного языка

Авторегрессионный декодер: предсказывает следующий токен, что оказалось достаточно универсальной задачей.

Vision Transformers85%

Vision Transformers · Компьютерное зрение

Изображение режется на патчи, которые обрабатываются как последовательность токенов.

Transformer forecasting85%

Трансформеры для прогноза · Временные ряды

Внимание над длинными горизонтами: Informer, Autoformer, PatchTST, TFT.

LLM85%

Большие языковые модели · Генеративный ИИ

Трансформеры-декодеры, обученные на огромных корпусах предсказывать следующий токен.

Кому эта тема нужна

Профильная компетенция для ролей: NLP-инженер, LLM-инженер, Исследователь, Инженер речи.

Спрашивают на собеседовании: Яндекс — ASR / TTS, Сбер — Речевые технологии, МТС — Речь и разговорный ИИ, Лаборатория Касперского — Поведенческий анализ и исследования, YADRO — Эффективность моделей.

Добавить в учебную программу
Проверить себя

Тема встречается в тестах по направлениям — ошибки приведут обратно на эту страницу.

Тест: NLP24Тест: Глубокое обучение24Тест: Речь: ASR и TTS24
Следующий шагПроверить себя: NLPТема встречается в этом тесте 2 раза. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →
← AttentionAutoencoders →

Глава «Глубокое обучение» последний раз правилась . Нашли ошибку — напишите.