On-policy and Off-policy — On-policy и off-policy

Учимся на данных своей текущей или на чужих. Разделение определяет, можно ли переиспользовать старый опыт, — и отсюда всю архитектуру алгоритма.

Ключевые тезисы

данные устаревают сразу после обновления : их выбрасывают.
позволяет учиться на буфере старого опыта — отсюда DQN и SAC.
Расплата — смещение: распределение данных не совпадает с текущей политикой.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

12:05On-policy и off-policy алгоритмыОбучение с подкреплением · Лекция «Deep Q-Networks (DQN)» · 3 ч 6 мин 1:22:27On-policy и off-policy алгоритмыОбучение с подкреплением · Лекция «Model-Free Reinforcement Learning» · 2 ч 52 мин 2:33Повторение различий on-policy и off-policy алгоритмовОбучение с подкреплением · Лекция «Offline Reinforcement Learning» · 2 ч 50 мин 46:28Importance sampling для замены распределенийОбучение с подкреплением · Лекция «Trust Region и Proximal Policy Optimization» · 3 ч 21 мин 13:09Одношаговые оценки и off-policy обучениеОбучение с подкреплением · Лекция «Непрерывное управление (Continuous Control)» · 2 ч 43 мин 45:43Дилемма синхронизации весов (on-policy vs off-policy)Обучение с подкреплением · Лекция «Обучение LLM-агентов и RL» · 3 ч 20 мин

Следующий шагСобрать учебную программуПорядок изучения под роль и уровень: недели, отметка «пройдено» и повторение по расписанию.Перейти →

Глава «Обучение с подкреплением» последний раз правилась 31 августа 2026 г.. Нашли ошибку — напишите.