Непрерывное управление (Continuous Control)

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Непрерывное управление (Continuous Control)

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:09Введение в тему непрерывного управления
2. 2:32Итоги пройденного материала курса
3. 5:50Обзор алгоритмов TD-learning и многошаговых методов
4. 6:56Сравнение DQN и Policy Gradient подходовPolicy GradientDQN
5. 8:12Особенности непрерывного управления и плотные наградыReward Design
6. 13:09Одношаговые оценки и off-policy обучениеOn-policy and Off-policy
7. 16:47Декомпозиция алгоритмов на policy evaluation и improvement
8. 18:57Достоинства и недостатки DQN и policy-based методовPolicy GradientDQN
9. 25:06Формулировка задачи policy improvement
10. 29:42Подходы к непрерывным пространствам действий
11. 32:20Решение оптимизационной задачи на каждом шаге
12. 33:25Введение детерминированной политики (actor)Policy Gradient
13. 36:06Проблема exploration в детерминированных политикахExploration in RL
14. 38:14Алгоритм DDPG: архитектура и процесс обученияActor-Critic
15. 43:06Недостатки DDPG: overestimation bias и нестабильностьDQNActor-Critic
16. 46:42Алгоритм TD3: три хака для стабилизацииActor-Critic
17. 53:55Deterministic Policy Gradient: вывод и интерпретацияPolicy Gradient
18. 1:02:39Необходимость стохастических политик для explorationExploration in RL
19. 1:04:58Параметризация стохастических политик (гауссовские)
20. 1:06:34Reparameterization trick для дифференцируемого сэмплирования
21. 1:17:23Max-Entropy Reinforcement Learning: введение энтропийного бонусаMDP
22. 1:24:15Soft Actor-Critic: алгоритм и уравнения БеллманаActor-CriticValue Functions
23. 1:36:32Soft Actor-Critic: практическая реализация и преимуществаActor-CriticAdvantage Function
24. 1:41:38Distributional RL и Quantile Critics
25. 1:45:40Перерыв
26. 1:58:30Практическая часть: реализация DDPG для среды PendulumActor-Critic
27. 2:14:25Реализация функции потерь и обучение сетейLoss functions
28. 2:31:04Анализ процесса обучения и результаты
29. 2:34:38Масштабирование алгоритмов и архитектурные улучшенияScaling
30. 2:39:32Важность качества критика в разных парадигмахActor-Critic