Deep Q-Networks (DQN)

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Deep Q-Networks (DQN)

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 0:07Организационное начало и технические настройки
2. 5:54Введение в курс и план на пять недель
3. 6:38Повторение табличного Q-learning: сетап и update ruleQ-Learning
4. 8:56Q-функция для оптимальной политики (Q-star)Value FunctionsPolicy Gradient
5. 9:58Уравнение Беллмана и temporal difference errorValue FunctionsTemporal Difference Learning
6. 11:26Онлайн алгоритмы и replay bufferExperience Replay
7. 12:05On-policy и off-policy алгоритмыOn-policy and Off-policy
8. 14:00Epsilon-жадная политика и exploration-exploitation trade-offPolicy Gradient
9. 15:56Уравнение Беллмана для оптимальностиValue Functions
10. 17:27Связь update rule с градиентным спускомGradient
11. 18:32Вывод уравнения Беллмана через минимизацию MSEValue FunctionsMSE
12. 20:02Оценка матожидания по одному сэмплу
13. 21:41Обобщение на нетабличный случай (нейронные сети)MLP
14. 22:59Проблема шумных градиентов по одному сэмплуGradient
15. 24:07Дизайн нейронной сети для DQNMLPDQN
16. 26:58Epsilon-жадная политика в нейросетевом контекстеPolicy Gradient
17. 29:55Update rule для сэмпла и генерация таргета
18. 30:51Проблема нестационарности таргета
19. 33:51Решение: target network и её периодическое обновлениеDQN
20. 35:10Мотивация перехода к аппроксимациям (большие пространства состояний)
21. 37:37Обработка пикселей и мотивация для Atari
22. 39:21Проблема коррелированных сэмплов и Experience ReplayExperience Replay
23. 41:19Off-policy обучение на собственном опытеOn-policy and Off-policy
24. 43:07Полный алгоритм DQN: инициализация и цикл взаимодействияDQN
25. 45:32Особенности терминальных состояний в DQNDQN
26. 47:44Ограничения Vanilla DQN и sample efficiencyModel-Based RLDQN
27. 50:30Исторический контекст: Atari и цели обобщения
28. 53:28Проблема частичной наблюдаемости и стекинг фреймовMDPStacking and Blending
29. 56:39Предобработка наблюдений для Atari
30. 1:01:09Архитектура нейронной сети для Atari DQNMLPDQN
31. 1:04:06Отсутствие maxpooling, dropout и batchnorm в DQNNormalization LayersRegularizationDQN
32. 1:06:05Проблема overestimation bias из-за операции максимумаDQN
33. 1:10:11Решение: Double DQN (разделение выбора и оценки действия)DQN
34. 1:12:40Более дешёвая альтернатива: использование target networkDQN
35. 1:14:41Дальнейшее решение: минимум двух Q-функций
36. 1:16:29Advantage функция и её свойстваAdvantage Function
37. 1:19:01Dueling DQN: декомпозиция Q на V и AdvantageDQNAdvantage Function
38. 1:22:52Нормализация Advantage и дополнительные лоссыNormalization & StandardizationAdvantage Function
39. 1:27:40Noisy Networks для стохастического explorationExploration in RL
40. 1:30:46Multi-step DQN: bias-variance trade-offDQN
41. 1:34:24Проблема off-policy коррекции для multi-stepOn-policy and Off-policy
42. 1:36:42Prioritized Experience ReplayExperience Replay
43. 1:39:57Важность сэмплов и важностное взвешивание (importance sampling)On-policy and Off-policy
44. 1:46:30Distributional RL: обучение распределению наград
45. 1:49:06Алгоритм Rainbow: комбинация улучшений DQNDQN
46. 1:51:36Результаты Rainbow и сравнение с базовым DQNDQN
47. 1:52:06Частичная наблюдаемость (POMDP) и использование памятиMDP
48. 1:54:49Рекуррентные сети (DRQN) для POMDPRNNMDP
49. 1:57:58Truncated backpropagation through time для DRQNBackpropagation
50. 1:59:08Векторизованные среды как альтернатива Experience ReplayExperience Replay
51. 2:01:39Масштабирование: архитектура Apex (отдельные actors и learner)Scaling
52. 2:04:55Distributed Experience Replay и синхронизацияExperience Replay
53. 2:05:53Сравнение производительности DQN, Rainbow и ApexDQN
54. 2:06:27Таймлайн развития DQN-алгоритмов
55. 2:08:12Современные тренды: аугментации и сильные энкодерыImage preprocessing
56. 2:10:37Место value-based методов среди современных алгоритмов
57. 2:12:20Перерыв
58. 2:22:21Начало семинара и организационные моменты
59. 2:23:23Постановка задачи семинара: реализация Q-learning для CartPoleQ-Learning
60. 2:24:26Описание среды CartPole и функции наградыReward Design
61. 2:27:30Особенности среды: стохастичность начального состояния
62. 2:29:04Важность различия termination и truncation
63. 2:32:23Пример важности дизайна награды (time limits)Reward Design
64. 2:35:29Реализация нейронной сети для Q-learningQ-LearningMLP
65. 2:37:12Функция выбора действия (epsilon-жадная политика)Policy Gradient
66. 2:41:10Функция вычисления TD-лосса
67. 2:45:14Вычисление target values и учёт терминальных состояний
68. 2:49:25Вычисление MSE лоссаMSE
69. 2:51:45Цикл обучения: взаимодействие со средой и обновление
70. 2:54:12Инициализация гиперпараметров и запуск обученияHyperparameter tuning
71. 2:55:21Демонстрация результатов обучения
72. 2:57:33Анонс домашних заданий и будущих тем
73. 2:59:40Демонстрация среды Atari Breakout для будущей домашки
74. 3:03:05Обсуждение линейных аппроксимаций и эволюционных стратегий
75. 3:05:34Завершение пары