Введение в Reinforcement Learning

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Введение в Reinforcement Learning

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 2:16Организационная часть курса
2. 8:30Определение и мотивация Reinforcement LearningMDP
3. 11:27Сравнение RL и Supervised Learning
4. 14:58Сравнение RL и Model Predictive ControlModel-Based RL
5. 16:15Сравнение RL и эволюционных алгоритмов
6. 16:45Примеры применения Reinforcement LearningMDP
7. 19:50Основные компоненты RL: агент, среда, наградаReward Design
8. 23:47Проблемы дизайна функции наградыReward Design
9. 28:30Sparse rewards и credit assignmentReward Design
10. 31:03Дисконтирование будущих наградDiscounting and Horizon
11. 35:45Обсуждение дисконтирования и горизонтаDiscounting and Horizon
12. 40:14State, observation и полная наблюдаемостьMDP
13. 43:46Формализация задачи RL и политикаPolicy Gradient
14. 47:43Общая схема алгоритмов RL
15. 48:10Марковский процесс принятия решений (MDP)MDP
16. 51:21Пример MDP: Grid WorldMDP
17. 55:32Проблема перебора всех политик
18. 59:52Value-функция и её свойстваValue Functions
19. 1:04:29Q-функция и её связь с value-функциейValue Functions
20. 1:05:28Уравнения Беллмана для value и Q-функцийValue Functions
21. 1:14:04Оптимальные value и Q-функцииValue Functions
22. 1:17:21Теорема Беллмана об оптимальностиValue Functions
23. 1:20:20Вычисление value-функции через линейные уравненияValue Functions
24. 1:25:27Оператор Беллмана и сходимостьValue Functions
25. 1:32:21Policy Iteration: оценка и улучшение политикиValue FunctionsPolicy Gradient
26. 1:42:57Подробный разбор алгоритма Policy IterationValue Functions
27. 1:49:54Value Iteration: итеративное улучшение value-функцииValue Functions
28. 2:06:45Перерыв (≈11.6 мин)
29. 2:20:02Сравнение Policy Iteration и Value IterationValue Functions
30. 2:22:42Переход к неизвестному MDP и explorationExploration in RLMDP
31. 2:23:58Асинхронные и приоритизированные методы
32. 2:29:40Демонстрация Policy и Value Iteration на GridWorldValue Functions
33. 2:36:48Знакомство с библиотекой Gymnasium
34. 2:45:52Пример среды со sparse reward (MountainCar)Reward Design
35. 2:50:50Эволюционные алгоритмы как альтернатива RL
36. 2:54:00Cross-Entropy Method для дискретных политикCross-Entropy
37. 3:02:18Deep Cross-Entropy Method для нейросетевых политикCross-Entropy
38. 3:07:29Random Search и эволюционные стратегииRandom Search
39. 3:10:18Сравнение sample efficiency RL и эволюционных методовModel-Based RL