КабинетПоиск
Обучение с подкреплением

Value Functions

Функции ценности

актуальноТекущий рабочий стандарт

Направления: Продвинутый ML · Обучение с подкреплением

V(s) оценивает ожидаемую отдачу из состояния, Q(s,a) — из пары состояние–действие.

Ключевые тезисы

  • Уравнение Беллмана связывает ценность состояния с ценностью следующих.
  • A = Q − V снижает в policy-методах.
  • Оценки ценности лежат в основе всех value-based алгоритмов.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Обозначения
  • математическое ожидание — среднее по распределению
  • коэффициент дисконтирования: насколько важна отложенная награда
  • состояние среды и выбранное в нём действие
  • награда, полученная агентом на шаге
  • политика — правило выбора действия в состоянии
Обозначения
  • математическое ожидание — среднее по распределению
  • коэффициент дисконтирования: насколько важна отложенная награда
  • состояние среды и выбранное в нём действие
  • награда, полученная агентом на шаге
Оптимальное уравнение Беллмана — основа

отвечает на вопрос «насколько это действие лучше среднего в данном состоянии». Она используется в actor-critic методах для снижения .

Монте-КарлоTD(0)
Когда обновляетв конце эпизодана каждом шаге
Смещениенетесть ()
высокаянизкая
Непрерывные задачине работаетработает
Обозначения
  • коэффициент дисконтирования: насколько важна отложенная награда
  • состояние среды и выбранное в нём действие
  • награда, полученная агентом на шаге
  • ожидаемая суммарная награда из состояния s
TD() и плавно интерполируют между двумя крайностями

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

9:58Уравнение Беллмана и temporal difference errorОбучение с подкреплением · Лекция «Deep Q-Networks (DQN)» · 3 ч 6 мин1:25:27Оператор Беллмана и сходимостьОбучение с подкреплением · Лекция «Введение в Reinforcement Learning» · 3 ч 19 мин11:28Проблема аппроксимации value-функции критикомОбучение с подкреплением · Лекция «Trust Region и Proximal Policy Optimization» · 3 ч 21 мин27:02Формализм: политика, Q-функция и value-функцияОбучение с подкреплением · Лекция «Алгоритмы бандитов» · 3 ч 16 мин1:03:02Замена симуляции на предсказание value-функцииОбучение с подкреплением · Лекция «Планирование и World Models» · 2 ч 57 мин44:32Метод Монте-Карло для оценки Q-функцииОбучение с подкреплением · Лекция «Model-Free Reinforcement Learning» · 2 ч 52 мин

Связанные темы

Основы обучения с подкреплением

MDP85%

Марковский процесс принятия решений · Обучение с подкреплением

Формальная рамка RL: состояния, действия, переходы, награды и коэффициент дисконтирования.

States / Actions / Rewards85%

Состояния, действия, награды · Обучение с подкреплением

Три базовых элемента задачи. Дизайн награды определяет поведение агента сильнее алгоритма.

Q-Learning85%

Q-обучение · Обучение с подкреплением

Off-policy метод: агент учит оптимальную Q-функцию независимо от того, как исследует среду.

SARSA85%

SARSA · Обучение с подкреплением

On-policy аналог Q-обучения: обновление идёт по реально выбранному следующему действию.

Policy Gradient85%

Градиент политики · Обучение с подкреплением

Прямая оптимизация параметров политики по градиенту ожидаемой награды.

Actor-Critic85%

Актор-критик · Обучение с подкреплением

Актор выбирает действия, критик оценивает их ценность — гибрид двух семейств методов.

DQN85%

Deep Q-Network · Обучение с подкреплением

Q-обучение с нейросетевой аппроксимацией: сеть предсказывает Q-значения по пикселям экрана.

PPO85%

PPO · Обучение с подкреплением

Устойчивый policy-gradient метод с ограничением величины обновления политики.

Следующий шагДальше по связи: MDPФормальная рамка RL: состояния, действия, переходы, награды и коэффициент дисконтирования.Перейти →
← States / Actions / RewardsQ-Learning →

Глава «Обучение с подкреплением» последний раз правилась . Нашли ошибку — напишите.