КабинетПоиск
Обучение с подкреплением

Policy Gradient

Градиент политики

актуальноТекущий рабочий стандарт

Направления: Продвинутый ML · Обучение с подкреплением

Прямая оптимизация параметров по ожидаемой награды.

Ключевые тезисы

  • Работает с непрерывными действиями, где max по Q невычислим.
  • REINFORCE — базовый вариант с высокой .
  • и отдачи заметно стабилизируют обучение.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • математическое ожидание — среднее по распределению
  • параметры модели
  • состояние среды и выбранное в нём действие
  • градиент: вектор частных производных
  • логарифм: превращает произведения в суммы и сжимает масштаб
  • политика — правило выбора действия в состоянии

Интуиция: увеличиваем вероятность действий, приведших к большой награде, и уменьшаем для остальных. REINFORCE подставляет вместо фактический возврат эпизода — это несмещённая, но очень шумная оценка.

  • Baseline: вычитание не меняет матожидание , но резко снижает .
  • возвратов внутри — простой и эффективный практический приём.
  • Policy gradient естественно работает с непрерывными действиями, где невычислим.

  • Baseline: вычитаем — матожидание не меняется, падает в разы.
  • GAE: сглаженная оценка преимущества с параметром , компромисс смещения и .
  • Нормализация возвратов внутри — простая эвристика, которая почти всегда помогает.
  • Больше параллельных сред: усреднение по независимым траекториям снижает шум оценки.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

24:54Вывод градиента objective (Policy Gradient Theorem)Обучение с подкреплением · Лекция «Policy-based методы (Policy Gradient)» · 3 ч 11 мин3:16Введение в улучшение policy gradient методовОбучение с подкреплением · Лекция «Trust Region и Proximal Policy Optimization» · 3 ч 21 мин6:56Сравнение DQN и Policy Gradient подходовОбучение с подкреплением · Лекция «Непрерывное управление (Continuous Control)» · 2 ч 43 мин10:20Policy Gradient и Value-Based: сравнение эффективностиОбучение с подкреплением · Лекция «Планирование и World Models» · 2 ч 57 мин8:56Q-функция для оптимальной политики (Q-star)Обучение с подкреплением · Лекция «Deep Q-Networks (DQN)» · 3 ч 6 мин1:10:44ε-жадная и Больцмановская политикиОбучение с подкреплением · Лекция «Model-Free Reinforcement Learning» · 2 ч 52 мин

Связанные темы

Основы обучения с подкреплением

MDP85%

Марковский процесс принятия решений · Обучение с подкреплением

Формальная рамка RL: состояния, действия, переходы, награды и коэффициент дисконтирования.

States / Actions / Rewards85%

Состояния, действия, награды · Обучение с подкреплением

Три базовых элемента задачи. Дизайн награды определяет поведение агента сильнее алгоритма.

Value Functions85%

Функции ценности · Обучение с подкреплением

V(s) оценивает ожидаемую отдачу из состояния, Q(s,a) — из пары состояние–действие.

Q-Learning85%

Q-обучение · Обучение с подкреплением

Off-policy метод: агент учит оптимальную Q-функцию независимо от того, как исследует среду.

SARSA85%

SARSA · Обучение с подкреплением

On-policy аналог Q-обучения: обновление идёт по реально выбранному следующему действию.

Actor-Critic85%

Актор-критик · Обучение с подкреплением

Актор выбирает действия, критик оценивает их ценность — гибрид двух семейств методов.

DQN85%

Deep Q-Network · Обучение с подкреплением

Q-обучение с нейросетевой аппроксимацией: сеть предсказывает Q-значения по пикселям экрана.

PPO85%

PPO · Обучение с подкреплением

Устойчивый policy-gradient метод с ограничением величины обновления политики.

Следующий шагДальше по связи: MDPФормальная рамка RL: состояния, действия, переходы, награды и коэффициент дисконтирования.Перейти →
← SARSAActor-Critic →

Глава «Обучение с подкреплением» последний раз правилась . Нашли ошибку — напишите.