КабинетПоиск
Обучение с подкреплением

DQN

Deep Q-Network

классикаИсторическая веха; сегодня чаще PPO и SAC.

Направления: Продвинутый ML · Обучение с подкреплением

с нейросетевой аппроксимацией: сеть предсказывает Q-значения по пикселям экрана.

Ключевые тезисы

  • разрывает последовательных переходов.
  • стабилизирует цель обучения.
  • Double DQN, Dueling и Rainbow исправляют переоценку и ускоряют сходимость.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

  • Replay buffer: последовательные переходы сильно коррелированы; случайная выборка из буфера возвращает предположение о независимости данных.
  • Target network: цель считается отдельной «замороженной» копией сети, иначе цель движется вместе с моделью и обучение расходится.
  • Обрезка награды до выравнивает масштаб между разными играми.
УлучшениеЧто чинит
Double DQNпереоценку из-за максимума
Duelingраздельная оценка и
Prioritized replayчаще переигрывать поучительные переходы
Rainbowвсё вместе

ПараметрТипичное значениеСимптом при неверном
размер –мал — забывание, велик — устаревшие данные
частота обновления target1 000–10 000 шаговчасто — расходимость
велик — скачки Q-значений
ε-затухание1.0 → 0.05 за шаговбыстро — застревание в локальной стратегии
На практике

Полезный диагностический : средние Q-значения должны расти плавно и выходить на плато. Экспоненциальный рост означает расходимость из-за переоценки.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

1:06:05Проблема overestimation bias из-за операции максимумаОбучение с подкреплением · Лекция «Deep Q-Networks (DQN)» · 3 ч 6 мин32:57Анализ проблемы overestimation bias в offline Q-learningОбучение с подкреплением · Лекция «Offline Reinforcement Learning» · 2 ч 50 мин13:34Overestimation bias и ошибки аппроксимацииОбучение с подкреплением · Лекция «Policy-based методы (Policy Gradient)» · 3 ч 11 мин43:06Недостатки DDPG: overestimation bias и нестабильностьОбучение с подкреплением · Лекция «Непрерывное управление (Continuous Control)» · 2 ч 43 мин

Связанные темы

Основы обучения с подкреплением

MDP85%

Марковский процесс принятия решений · Обучение с подкреплением

Формальная рамка RL: состояния, действия, переходы, награды и коэффициент дисконтирования.

States / Actions / Rewards85%

Состояния, действия, награды · Обучение с подкреплением

Три базовых элемента задачи. Дизайн награды определяет поведение агента сильнее алгоритма.

Value Functions85%

Функции ценности · Обучение с подкреплением

V(s) оценивает ожидаемую отдачу из состояния, Q(s,a) — из пары состояние–действие.

Q-Learning85%

Q-обучение · Обучение с подкреплением

Off-policy метод: агент учит оптимальную Q-функцию независимо от того, как исследует среду.

SARSA85%

SARSA · Обучение с подкреплением

On-policy аналог Q-обучения: обновление идёт по реально выбранному следующему действию.

Policy Gradient85%

Градиент политики · Обучение с подкреплением

Прямая оптимизация параметров политики по градиенту ожидаемой награды.

Actor-Critic85%

Актор-критик · Обучение с подкреплением

Актор выбирает действия, критик оценивает их ценность — гибрид двух семейств методов.

PPO85%

PPO · Обучение с подкреплением

Устойчивый policy-gradient метод с ограничением величины обновления политики.

Следующий шагДальше по связи: MDPФормальная рамка RL: состояния, действия, переходы, награды и коэффициент дисконтирования.Перейти →
← Actor-CriticPPO →

Глава «Обучение с подкреплением» последний раз правилась . Нашли ошибку — напишите.