Планирование и World Models

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Планирование и World Models

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:26Введение в лекцию: Planning и Model-Based RLModel-Based RL
2. 2:12Ось computation efficiency vs sample efficiencyModel-Based RL
3. 3:06Классификация пройденных алгоритмов RL
4. 9:13Метаэвристики: sample и computation efficiency
5. 10:20Policy Gradient и Value-Based: сравнение эффективностиPolicy Gradient
6. 11:48Model-Based (динамическое программирование): эффективностьDynamic ProgrammingModel-Based RL
7. 12:26Цель лекции: приблизиться к Model-Based без знания динамикиDynamic ProgrammingModel-Based RL
8. 13:11Детерминированные и стохастические среды
9. 14:23Self-play для детерминированности в играх
10. 15:29Определение и виды планирования (open/closed loop)Planning and World Models
11. 19:11Ментальная модель: реальная и виртуальная оси
12. 23:35Проблема полного перебора и необходимость умного планированияPlanning and World Models
13. 25:59Введение в Monte Carlo Tree Search (MCTS)Planning and World Models
14. 26:13Четыре этапа MCTS: selection, expansion, simulation, backpropagationBackpropagationPlanning and World Models
15. 34:39Selection: правило выбора на основе UCBMulti-armed Bandits
16. 38:36Expansion: добавление новых узлов в дерево
17. 39:53Simulation: доигрывание случайной стратегией (rollout)
18. 40:47Backpropagation: обновление статистик узловBackpropagation
19. 42:08Выбор действия для реального взаимодействия со средой
20. 46:04Проблема ширины дерева и использование вспомогательной политикиPolicy Gradient
21. 48:18MCTS для игр с самообучением (self-play)Planning and World Models
22. 52:48Две проблемы MCTS: забывание поддеревьев и дорогая симуляцияPlanning and World Models
23. 56:01AlphaZero: интеграция нейросети и MCTSPlanning and World ModelsMLP
24. 58:36Архитектура сети в AlphaZero: value и policy headsPlanning and World Models
25. 59:53Функция потерь в AlphaZeroLoss functionsPlanning and World Models
26. 1:00:19Новое правило selection с учётом предсказания сети
27. 1:03:02Замена симуляции на предсказание value-функцииValue Functions
28. 1:05:57Обучение сети на данных self-play
29. 1:09:46Результаты AlphaZero против Stockfish и в GoPlanning and World Models
30. 1:12:56MuZero: планирование в латентной модели средыPlanning and World Models
31. 1:20:02Архитектура и обучение world model в MuZero
32. 1:28:01Проблемы MuZero: мало информации для world model
33. 1:30:55EfficientZero: улучшения через self-consistency loss
34. 1:35:27EfficientZero: предсказание префикса наград (value prefix)
35. 1:37:00EfficientZero: коррекция политики для уменьшения off-policy gapOn-policy and Off-policyPolicy Gradient
36. 1:39:27Результаты EfficientZero на Atari 100k
37. 1:41:36Dreamer: альтернативная парадигма model-based RLModel-Based RLPlanning and World Models
38. 1:44:45Dreamer: обучение policy и value в world modelPlanning and World Models
39. 1:47:23Результаты Dreamer в MineCraft и других средахPlanning and World Models
40. 1:52:27Перерыв
41. 2:08:11Начало семинара: имплементация MCTS для CartPolePlanning and World Models
42. 2:08:37Повторение четырёх этапов MCTSPlanning and World Models
43. 2:11:45Класс SnapshotWrapper для сохранения состояния среды
44. 2:16:04Демонстрация работы SnapshotWrapper
45. 2:19:02Класс Node: структура узла дерева MCTSPlanning and World Models
46. 2:21:26Расчёт UCB score в узлеMulti-armed Bandits
47. 2:22:54Выбор лучшего ребёнка (BestChild)
48. 2:24:15Этап Selection (SelectBestLeaf)
49. 2:24:18Этап Expansion
50. 2:26:03Этап Simulation (Rollout)
51. 2:30:07Этап Backpropagation (Propagate)Backpropagation
52. 2:32:24Функция plan_mcts: основной цикл построения дерева
53. 2:38:07Демонстрация построения дерева за 1000 итераций
54. 2:39:17Стратегия исследования (exploration) в MCTSExploration in RLPlanning and World Models
55. 2:41:49Вопрос о continuous action space и MCTSPlanning and World Models
56. 2:43:45Взаимодействие со средой после планированияPlanning and World Models
57. 2:47:36Обновление дерева после реального шага (удаление ветвей)
58. 2:48:59Перепланирование при достижении края дерева
59. 2:51:12Демонстрация работы полного алгоритма на CartPole
60. 2:52:07Ответы на вопросы по реализации и перспективам