LoRA — LoRA — ML Atlas

Обучение низкоранговых добавок к весам вместо полного дообучения модели.

W^{'} = W_{0} + B A, r ≪ d

Что означает каждый компонент

$W_{0}$ исходные веса модели — они заморожены и не обучаются
$B A$ низкоранговая поправка: две узкие матрицы, произведение которых имеет ранг r
$r$ ранг адаптера (обычно 8–64). Обучается доля процента параметров вместо всей модели

Ключевые тезисы

Обучается доля процента параметров при близком к полному качестве.
Адаптеры малы, их легко хранить и переключать на лету.
QLoRA позволяет дообучать крупные модели на одной GPU.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Низкоранговая поправка

Обучаем 0.1% параметров вместо 100%.

W^{'} = W_{0} + Δ W = W_{0} + B A, B \in R^{d \times r}, A \in R^{r \times k}, r ≪ min (d, k)

Обозначения

$Δ$ приращение — малое изменение величины
$r$ награда, полученная агентом на шаге
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$A$ матрица преобразования

Пример

Слой $4096 \times 4096$ — это 16.7 млн параметров. При $r = 8$ LoRA обучает $4096 \cdot 8 \cdot 2 = 65$ тысяч — в 256 раз меньше.

Адаптер весит мегабайты: можно хранить десятки стилей и переключать их на лету.
$α / r$ задаёт масштаб поправки; типично $r = 8$ – $64$ .
QLoRA: базовая модель в 4 битах + адаптеры в 16 битах — дообучение 70B-модели на одной GPU.

Практика применения LoRA

Какие слои адаптировать и с каким рангом.

Классика — адаптировать матрицы внимания $W_{q}$ и $W_{v}$ ; расширение на все линейные слои даёт небольшой прирост при большей стоимости.
$r = 8$ – $16$ хватает для стилевой адаптации, $r = 32$ – $64$ — для доменной.
$α$ обычно берут равным $2 r$ .
Адаптеры можно «вплавить» в веса (merge_and_unload) — тогда инференс не имеет накладных расходов.

Связанные темы

Эффективность моделей · Адаптация языковых моделей

Transfer Learning80%

Перенос обучения · Глубокое обучение

Использование модели, обученной на большой выборке, для задачи с малым числом примеров. Главный практический приём современного глубокого обучения.

Mixture of Experts80%

Смесь экспертов · Глубокое обучение

Архитектура, в которой на каждый токен активируется лишь часть параметров: большая ёмкость при умеренной стоимости вычислений.

Distillation80%

Дистилляция · Генеративный ИИ

Обучение маленькой модели воспроизводить поведение большой: кратное снижение стоимости при небольшой потере качества.

GPU Inference80%

GPU-инференс · Системный дизайн ML-сервисов

Как выжать из видеокарты пропускную способность и не переплачивать.

Cost Model80%

Экономика сервиса · Системный дизайн ML-сервисов

Стоимость одного предсказания и точка, где модель перестаёт окупаться.

Prompting80%

Промптинг · Генеративный ИИ

Управление поведением модели через формулировку запроса, без изменения весов.

Fine-tuning80%

Дообучение · Генеративный ИИ

Адаптация предобученной модели под домен или формат на собственных данных.

RLHF80%

RLHF · Генеративный ИИ

Дообучение по человеческим предпочтениям: модель награды + оптимизация политики.

RAG80%

RAG · Генеративный ИИ

Подмешивание найденных документов в контекст модели вместо хранения знаний в весах.

PPO80%

PPO · Обучение с подкреплением

Устойчивый policy-gradient метод с ограничением величины обновления политики.

GPT80%

GPT · Обработка естественного языка

Авторегрессионный декодер: предсказывает следующий токен, что оказалось достаточно универсальной задачей.