Обучение LLM-агентов и RL

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Обучение LLM-агентов и RL

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 3:35Введение в тему обучения агентовAgents
2. 4:48Повторение RLHF и RLVR с прошлой лекцииRLHF
3. 8:23Проблемы RLHF: переоптимизация и забываниеRLHF
4. 10:44Обзор DPO как альтернативы RLHFRLHF
5. 11:22Принцип Reinforcement Learning with Verifiable RewardsMDP
6. 13:53GRPO для одношагового взаимодействия
7. 18:19Ограничения одношагового взаимодействия LLMLLM
8. 28:40Переход к многошаговым LLM-агентам
9. 34:50Примеры задач для агентов: планирование, анализPlanning and World ModelsAgents
10. 38:53Архитектура взаимодействия агента со средой
11. 41:10Системная архитектура для обучения агентовAgents
12. 45:43Дилемма синхронизации весов (on-policy vs off-policy)On-policy and Off-policy
13. 50:36Источник награды и верификация для агентовReward DesignAgents
14. 58:37Наивный подход: применение GRPO к агентам
15. 1:04:19Проблемы обучения агентов: скорость и кредитAgents
16. 1:06:02Синхронный и асинхронный режимы генерации данных
17. 1:11:07Проблема нестабильности и mismatch вероятностей
18. 1:18:07Причины нестабильности: OOD данные, low-probability токеныTokenization
19. 1:23:42Продвинутый кредит-асайтмент: branching и группировка
20. 1:32:04Преимущества онлайн RL для агентовAdvantage FunctionAgents
21. 1:47:01Введение в применение RL в финансах
22. 1:52:21Портфельная оптимизация как динамическая задачаOptimization
23. 2:03:26Упрощение до контекстуальных бандитовMulti-armed Bandits
24. 2:12:11Контекстуальные бандиты с учётом uncertaintyMulti-armed Bandits
25. 2:17:50Формализация задачи и правило abstention
26. 2:28:00Результаты симуляционного исследования
27. 2:40:07Пример задачи: аллокация капитала в фьючерсы
28. 2:50:17Задача оптимального исполнения ордеров
29. 2:55:24Задача маркет-мейкинга и Multi-Agent RL
30. 3:02:51Reward shaping для маркет-мейкингаReward Design
31. 3:08:03Хеджирование деривативов и Deep Hedging