Model-Based RL — Model-based методы

Агент строит модель среды и планирует в ней вместо того, чтобы учиться только на реальном опыте. Дороже по вычислениям, зато на порядки экономнее по взаимодействиям.

Ключевые тезисы

— главный аргумент: реальное взаимодействие бывает дорогим или опасным.
Ошибки модели накапливаются при длинном прогнозе, поэтому планируют на короткий и перепланируют.
Dyna, и обучаемые — три способа использовать модель для принятия решений.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

14:58Сравнение RL и Model Predictive ControlОбучение с подкреплением · Лекция «Введение в Reinforcement Learning» · 3 ч 19 мин 0:26Введение в лекцию: Planning и Model-Based RLОбучение с подкреплением · Лекция «Планирование и World Models» · 2 ч 57 мин 47:44Ограничения Vanilla DQN и sample efficiencyОбучение с подкреплением · Лекция «Deep Q-Networks (DQN)» · 3 ч 6 мин 1:39:18Сравнение sample efficiency TRPO и A2CОбучение с подкреплением · Лекция «Trust Region и Proximal Policy Optimization» · 3 ч 21 мин 37:10Model-Based vs Model-Free подходы в RLОбучение с подкреплением · Лекция «Model-Free Reinforcement Learning» · 2 ч 52 мин

Следующий шагСобрать учебную программуПорядок изучения под роль и уровень: недели, отметка «пройдено» и повторение по расписанию.Перейти →

Глава «Обучение с подкреплением» последний раз правилась 31 августа 2026 г.. Нашли ошибку — напишите.