Offline Reinforcement Learning

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Offline Reinforcement Learning

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:17Введение в тему offline reinforcement learningOffline RL
2. 2:33Повторение различий on-policy и off-policy алгоритмовOn-policy and Off-policy
3. 5:05Определение и постановка задачи offline RLOffline RL
4. 7:02Терминология и компоненты offline RLOffline RL
5. 8:48Две цели offline RL: максимизация награды и близость к behavioral policyOffline RLReward Design
6. 10:06Imitation Learning и Behavioral Cloning как базовые подходы
7. 17:16Сравнение imitation learning и offline RLOffline RL
8. 24:48Философия и цели offline RL: обобщение и сборка оптимальных траекторийOffline RL
9. 26:48Проблема применения online алгоритмов (Soft Actor-Critic) в offline режимеActor-Critic
10. 32:57Анализ проблемы overestimation bias в offline Q-learningDQNQ-Learning
11. 39:15Проблема distributional shift в offline RLOffline RL
12. 43:38Подходы с ограничениями (support constraint, KL-дивергенция)KL Divergence
13. 49:12Решение задачи с KL-ограничением и Lagrangian
14. 54:05Вывод objective function для Advantage-Weighted Regression
15. 58:16Архитектура алгоритма с actor и critic
16. 1:01:30Обучение V-функции и проблема усреднения
17. 1:04:27Идея Implicit Q-Learning (IQL) и экспоненциальный lossQ-Learning
18. 1:08:56Подход Conservative Q-Learning (CQL) для пессимистичной оценкиQ-LearningOffline RL
19. 1:13:01Сравнение IQL и CQL, выбор базового алгоритмаOffline RL
20. 1:17:25Трансформерные подходы: Trajectory Transformer и Decision TransformerTransformers
21. 1:26:37Минималистичные подходы: TD3 + Behavioral RegularizationRegularizationActor-Critic
22. 1:32:24Продвинутые техники: ансамбли Q-функций и anti-explorationStacking and Blending
23. 1:36:32Практические аспекты и области применения offline RLOffline RL
24. 1:41:14Перерыв
25. 1:57:07Начало семинара: представление среды и задачи
26. 2:01:40Знакомство с библиотекой TorchRL и загрузка датасета
27. 2:03:07Теоретическое обоснование алгоритма Advantage-Weighted Actor-CriticActor-Critic
28. 2:04:57Архитектура и параметризация гауссовской политикиPolicy Gradient
29. 2:12:56Реализация Policy Evaluation с Twin Critics
30. 2:14:48Работа с буфером воспроизведения (replay buffer) в TorchRLExperience Replay