Discounting and Horizon — Дисконтирование и горизонт

Коэффициент γ решает, насколько агент дальновиден. Он же делает бесконечную сумму наград конечной и стабилизирует обучение.

G_{t} = s u m_{k = 0}^{in f t y} g amm a^{k} r_{t + k + 1}

Обозначения

$r$ награда, полученная агентом на шаге
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций

— сумма будущих наград с убывающим весом

Ключевые тезисы

Эффективный примерно 1/(1−γ): при γ = 0,99 агент смотрит на сотню шагов вперёд.
Малое γ ускоряет сходимость, но делает агента близоруким; большое — наоборот.
γ — не свойство задачи, а обучения: оптимальная при γ = 1 может быть недостижима.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

31:03Дисконтирование будущих наградОбучение с подкреплением · Лекция «Введение в Reinforcement Learning» · 3 ч 19 мин 47:47Проблема затухания градиентов и гамма-факторОбучение с подкреплением · Лекция «Policy-based методы (Policy Gradient)» · 3 ч 11 мин

Следующий шагСобрать учебную программуПорядок изучения под роль и уровень: недели, отметка «пройдено» и повторение по расписанию.Перейти →

Глава «Обучение с подкреплением» последний раз правилась 31 августа 2026 г.. Нашли ошибку — напишите.