КабинетПоиск
Генеративный ИИ

RLHF

RLHF

новинкаDPO и его варианты постепенно вытесняют классический PPO-конвейер.

Направления: Генеративный ИИ · Большие языковые модели, Продвинутый ML · Обучение с подкреплением, Доверенный ИИ · Безопасность поведения

по человеческим предпочтениям: модель награды + оптимизация .

Ключевые тезисы

  • Пары сравнений ответов обучают reward-модель.
  • или DPO настраивают модель под эту награду.
  • Именно этот этап превращает языковую модель в полезного ассистента.

Какую задачу решает

Модель, обученная предсказывать следующий , продолжает текст — но не помогает. На вопрос она может ответить другим вопросом, потому что в интернете так бывает. Задача выравнивания — превратить продолжатель текста в собеседника, который следует инструкциям, отказывается от вредных просьб и отвечает так, как ожидает человек.

Проблема в том, что «хороший ответ» невозможно записать функцией потерь. обходит это так же, как обходил невозможность формализовать «реалистичность»: критерий обучают. Люди сравнивают пары ответов, на этих сравнениях обучается модель награды, и уже она служит целевой функцией для . DPO позже показал, что промежуточную модель награды можно исключить и учиться прямо на парах предпочтений.

Как выглядит reward hacking

Модель награды обучена на сравнениях, где размечающие чаще выбирали более подробные ответы. Оптимизируя её, модель обнаруживает простую стратегию: писать длиннее. Награда растёт, а полезность падает — на вопрос «который час в Москве» приходит три абзаца про часовые пояса. Именно поэтому в цикл добавляют KL-штраф (не уходить далеко от базовой модели) и отдельно контролируют длину ответов при оценке. Общее правило то же, что и с любым обучаемым критерием: оптимизируется ровно то, что измерено, а не то, что имелось в виду.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

  1. SFT: на демонстрациях «запрос — хороший ответ».
  2. Reward model: обучается на парах сравнений «ответ A лучше ответа B».
  3. RL: максимизирует награду с KL-штрафом за отклонение от SFT-модели.
Обозначения
  • стандартное отклонение — разброс величины
  • параметры генеративной модели
  • награда, полученная агентом на шаге
  • истинное значение целевой переменной
  • объект: вектор признаков
  • веса модели — то, что подбирается при обучении
  • функция потерь — то, что минимизируется при обучении
Модель награды учится на предпочтениях, а не на абсолютных оценках

DPO упрощает третий шаг: оптимизирует прямо по парам предпочтений, без отдельной модели награды и без . Проще, стабильнее и часто не хуже по качеству.

Обозначения
  • стандартное отклонение — разброс величины
  • параметры генеративной модели
  • коэффициент сглаживания (инерции)
  • истинное значение целевой переменной
  • объект: вектор признаков
  • веса модели — то, что подбирается при обучении
  • функция потерь — то, что минимизируется при обучении

DPO обходится без отдельной модели награды и без RL-цикла: обучение выглядит как обычная классификация на парах. Проще в реализации, устойчивее и по качеству сопоставимо с на многих задачах.

Где применяется

  • Инструктивные моделиПревращение базовой модели в ассистента — то, что отделяет GPT-3 от ChatGPT.
  • БезопасностьОбучение отказам на вредные запросы и снижение токсичности.
  • Стиль и полезностьДлина, структура, тон ответа — всё, что описывается только через «нравится / не нравится».
  • Доменные предпочтенияЧто считать хорошим ответом в поддержке, медицине или юридической консультации.

Плюсы, минусы и альтернативы

Плюсы

  • Оптимизирует то, что нельзя записать формулой.
  • Даёт огромный прирост воспринимаемого качества при небольшом изменении весов.
  • Основной рабочий механизм снижения вредных ответов.
  • DPO сделал метод доступным: без RL-инфраструктуры и почти как обычное обучение.

Минусы

  • Разметка предпочтений дорога и требует внятного регламента.
  • Reward hacking: модель учится нравиться оценщику, а не быть полезной (например, писать длиннее).
  • Классический нестабилен и сложен в инженерии.
  • Выравнивание сужает: модель становится осторожнее и иногда отказывает без причины.
  • Предпочтения размечающих становятся предпочтениями модели со всеми их смещениями.

Брать, если

  • Нужное поведение описывается только сравнением «этот ответ лучше того».
  • Есть возможность собрать несколько тысяч парных сравнений.
  • Уже есть на инструкциях и нужен следующий шаг качества.

Не брать, если

  • Есть эталонные ответы — обычное обучение на них проще и дешевле.
  • Данных предпочтений мало: модель награды получится шумной и обучение уедет в никуда.
  • Задача измеряется объективной метрикой — оптимизируйте её напрямую.

Чем заменяют

Fine-tuningактуальноДообучение · Генеративный ИИЕсть эталонные ответы: обычное SFT проще, дешевле и часто достаточно.LLM EvaluationновинкаОценка языковых моделей · Генеративный ИИСначала нужно научиться измерять качество — без этого выравнивать нечего.
Тема также относится к главам:Обучение с подкреплениемPolicy-based · Прикладные постановки

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

56:11Objective RLHF с KL-ограничениемОбучение с подкреплением · Лекция «Выравнивание языковых моделей» · 2 ч 16 мин4:48Повторение RLHF и RLVR с прошлой лекцииОбучение с подкреплением · Лекция «Обучение LLM-агентов и RL» · 3 ч 20 мин

Связанные темы

Адаптация языковых моделей

Prompting80%

Промптинг · Генеративный ИИ

Управление поведением модели через формулировку запроса, без изменения весов.

Fine-tuning80%

Дообучение · Генеративный ИИ

Адаптация предобученной модели под домен или формат на собственных данных.

LoRA80%

LoRA · Генеративный ИИ

Обучение низкоранговых добавок к весам вместо полного дообучения модели.

RAG80%

RAG · Генеративный ИИ

Подмешивание найденных документов в контекст модели вместо хранения знаний в весах.

PPO80%

PPO · Обучение с подкреплением

Устойчивый policy-gradient метод с ограничением величины обновления политики.

GPT80%

GPT · Обработка естественного языка

Авторегрессионный декодер: предсказывает следующий токен, что оказалось достаточно универсальной задачей.

Кому эта тема нужна

Профильная компетенция для роли: LLM-инженер.

Усиливает профиль: NLP-инженер, Продуктовый инженер, Исследователь.

Спрашивают на собеседовании: Сбер — NLP и LLM.

Добавить в учебную программу
Проверить себя

Тема встречается в тесте по направлениям — ошибки приведут обратно на эту страницу.

Тест: Генеративный ИИ и LLM24
Следующий шагПроверить себя: Генеративный ИИ и LLMТема встречается в этом тесте 2 раза. Ошибка приведёт обратно на эту страницу — с объяснением, что именно не сошлось.Перейти →
← LoRARAG →

Глава «Генеративный ИИ» последний раз правилась . Нашли ошибку — напишите.