Advantage Function — Функция преимущества

Насколько действие лучше среднего в этом состоянии. Вычитание базовой линии не меняет в среднем, но резко снижает его .

A (s, a) = Q (s, a) - V (s)

Обозначения

$(s, a)$ состояние среды и выбранное в нём действие
$Q (s, a)$ ожидаемая суммарная награда за действие a в состоянии s
$V (s)$ ожидаемая суммарная награда из состояния s
$A$ матрица преобразования

Преимущество: положительное — действие лучше среднего, отрицательное — хуже

Ключевые тезисы

A(s,a) = Q(s,a) − V(s): ценность действия относительно состояния, а не сама по себе.
— главный приём снижения в policy-градиентных методах.
даёт настраиваемый компромисс между смещением и через параметр λ.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

18:24Преимущества Gaussian Splatting: демократичностьКомпьютерное зрение 3D · Лекция «Gaussian Splatting» · 2 ч 41 мин 11:52Graceful stop преимуществаБольшие данные · Семинар «Spark Streaming завершение» · 40 мин 25:06Преимущества CLIP для мультимодальностиГенеративные модели · Лекция «Stable Diffusion» · 1 ч 30 мин 19:14Преимущества GAE для снижения varianceОбучение с подкреплением · Лекция «Trust Region и Proximal Policy Optimization» · 3 ч 21 мин 1:31:07Преимущества растеризации: аппаратное ускорениеКомпьютерное зрение 3D · Лекция «Компьютерная графика и рендеринг» · 2 ч 56 мин 1:36:32Soft Actor-Critic: практическая реализация и преимуществаОбучение с подкреплением · Лекция «Непрерывное управление (Continuous Control)» · 2 ч 43 мин

Следующий шагСобрать учебную программуПорядок изучения под роль и уровень: недели, отметка «пройдено» и повторение по расписанию.Перейти →

Глава «Обучение с подкреплением» последний раз правилась 31 августа 2026 г.. Нашли ошибку — напишите.