Model-Free Reinforcement Learning

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Model-Free Reinforcement Learning

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:16Организационное начало и вопросы студентов
2. 6:15Разбор квиза по первой лекции
3. 28:13Повторение основ MDP и value функцийMDP
4. 31:22Переход к постановке Reinforcement LearningMDP
5. 37:10Model-Based vs Model-Free подходы в RLModel-Based RL
6. 43:32Введение в Model-Free RL и Q-функциюModel-Based RL
7. 44:32Метод Монте-Карло для оценки Q-функцииValue Functions
8. 49:40Стохастическая аппроксимация и градиентный спускGradient
9. 52:44Temporal Difference Learning и bootstrappingTemporal Difference Learning
10. 1:03:34Проблема exploration и exploitationExploration in RL
11. 1:10:44ε-жадная и Больцмановская политикиPolicy Gradient
12. 1:15:12Optimism in the Face of Uncertainty (R-Max)Exploration in RL
13. 1:22:27On-policy и off-policy алгоритмыOn-policy and Off-policy
14. 1:31:12Алгоритм Q-Learning (off-policy)Q-LearningOn-policy and Off-policy
15. 1:35:43Алгоритм SARSA (on-policy)On-policy and Off-policySARSA
16. 1:42:14Сравнение Q-Learning и SARSA на примере Cliff WalkingQ-LearningSARSA
17. 1:43:26Experience Replay для off-policy алгоритмовExperience ReplayOn-policy and Off-policy
18. 1:48:17Optimistic Q-Learning (Model-Free аналог R-Max)Q-LearningModel-Based RLExploration in RL
19. 1:50:11Перерыв
20. 2:00:24Повторение Model-Based и Model-Free RLModel-Based RL
21. 2:02:55Bias-Variance trade-off в оценках
22. 2:04:39N-step SARSA и кредитный ассигментSARSA
23. 2:07:32Итоги лекции и переход к следующей теме
24. 2:09:58Начало семинара: реализация Q-LearningQ-Learning
25. 2:23:30Реализация алгоритма SARSASARSA
26. 2:25:53Сравнение алгоритмов на Cliff Walking
27. 2:29:37Дискретизация continuous state space
28. 2:36:50Применение Q-Learning к CartPoleQ-Learning
29. 2:44:06Реализация Expected SARSASARSA
30. 2:50:32Заключение и ответы на вопросы