Policy Gradient — Градиент политики

Прямая оптимизация параметров политики по градиенту ожидаемой награды.

Ключевые тезисы

Работает с непрерывными действиями, где max по Q невычислим.
REINFORCE — базовый вариант с высокой дисперсией.
Baseline и нормализация отдачи заметно стабилизируют обучение.

Подробный разбор

2 подтем — раскройте любую, чтобы увидеть объяснение, формулы, примеры и интерактивные графики.

Теорема о градиенте политики

Как дифференцировать ожидаемую награду по параметрам политики.

\nabla_{θ} J (θ) = E_{π_{θ}} [\nabla_{θ} lo g π_{θ} (a ∣ s) Q^{π} (s, a)]

Обозначения

$E [\cdot]$ математическое ожидание — среднее по распределению
$θ$ параметры модели
$(s, a)$ состояние среды и выбранное в нём действие
$\nabla$ градиент: вектор частных производных
$lo g$ логарифм: превращает произведения в суммы и сжимает масштаб
$π$ политика — правило выбора действия в состоянии

Интуиция: увеличиваем вероятность действий, приведших к большой награде, и уменьшаем для остальных. REINFORCE подставляет вместо $Q$ фактический возврат эпизода — это несмещённая, но очень шумная оценка.

Baseline: вычитание $V (s)$ не меняет матожидание градиента, но резко снижает дисперсию.
Нормализация возвратов внутри батча — простой и эффективный практический приём.
Policy gradient естественно работает с непрерывными действиями, где $max_{a} Q$ невычислим.

Борьба с дисперсией

Почему REINFORCE редко используют в чистом виде.

Baseline: вычитаем $V (s)$ — матожидание градиента не меняется, дисперсия падает в разы.
GAE: сглаженная оценка преимущества с параметром $λ$ , компромисс смещения и дисперсии.
Нормализация возвратов внутри батча — простая эвристика, которая почти всегда помогает.
Больше параллельных сред: усреднение по независимым траекториям снижает шум оценки.

Связанные темы

Основы обучения с подкреплением

MDP85%

Марковский процесс принятия решений · Обучение с подкреплением

Формальная рамка RL: состояния, действия, переходы, награды и коэффициент дисконтирования.

States / Actions / Rewards85%

Состояния, действия, награды · Обучение с подкреплением

Три базовых элемента задачи. Дизайн награды определяет поведение агента сильнее алгоритма.

Value Functions85%

Функции ценности · Обучение с подкреплением

V(s) оценивает ожидаемую отдачу из состояния, Q(s,a) — из пары состояние–действие.

Q-Learning85%

Q-обучение · Обучение с подкреплением

Off-policy метод: агент учит оптимальную Q-функцию независимо от того, как исследует среду.

SARSA85%

SARSA · Обучение с подкреплением

On-policy аналог Q-обучения: обновление идёт по реально выбранному следующему действию.

Actor-Critic85%

Актор-критик · Обучение с подкреплением

Актор выбирает действия, критик оценивает их ценность — гибрид двух семейств методов.

DQN85%

Deep Q-Network · Обучение с подкреплением

Q-обучение с нейросетевой аппроксимацией: сеть предсказывает Q-значения по пикселям экрана.

PPO85%

PPO · Обучение с подкреплением

Устойчивый policy-gradient метод с ограничением величины обновления политики.