Reinforcement Learning
Обучение с подкреплением
Агент действует в среде, получает награду и учится стратегии, максимизирующей суммарный выигрыш. Отсюда же растёт RLHF в языковых моделях.
Что означают метки тем
MDPактуально
Марковский процесс принятия решенийФормальная рамка RL: состояния, действия, переходы, награды и коэффициент дисконтирования.
States / Actions / Rewardsактуально
Состояния, действия, наградыТри базовых элемента задачи. Дизайн награды определяет поведение агента сильнее алгоритма.
Value Functionsактуально
Функции ценностиV(s) оценивает ожидаемую отдачу из состояния, Q(s,a) — из пары состояние–действие.
Reward Designактуально
Дизайн функции наградыАгент оптимизирует то, что вы измерили, а не то, что имели в виду. Награда — самая опасная часть постановки: ошибка здесь не чинится ни алгоритмом, ни вычислениями.
Discounting and Horizonактуально
Дисконтирование и горизонтКоэффициент γ решает, насколько агент дальновиден. Он же делает бесконечную сумму наград конечной и стабилизирует обучение.
On-policy and Off-policyактуально
On-policy и off-policyУчимся на данных своей текущей политики или на чужих. Разделение определяет, можно ли переиспользовать старый опыт, — и отсюда всю архитектуру алгоритма.
Markov Chainsактуально
Марковские цепииз «Теория вероятностей и распределения»Процесс, в котором будущее зависит только от текущего состояния. База для MDP, MCMC и моделей поведения пользователя.
Q-Learningактуально
Q-обучениеOff-policy метод: агент учит оптимальную Q-функцию независимо от того, как исследует среду.
Temporal Difference Learningактуально
Обучение по временным разностямОценка обновляется не по итоговой отдаче эпизода, а по следующему шагу плюс текущей оценке. Именно это делает RL применимым к длинным и незавершающимся задачам.
Experience Replayактуально
Буфер воспроизведенияОпыт складывается в буфер и переиспользуется многократно в случайном порядке. Решает сразу две проблемы: корреляцию соседних переходов и расточительность обучения.
SARSAклассика
SARSAOn-policy аналог Q-обучения: обновление идёт по реально выбранному следующему действию.
DQNклассика
Deep Q-NetworkQ-обучение с нейросетевой аппроксимацией: сеть предсказывает Q-значения по пикселям экрана.
Policy Gradientактуально
Градиент политикиПрямая оптимизация параметров политики по градиенту ожидаемой награды.
Actor-Criticактуально
Актор-критикАктор выбирает действия, критик оценивает их ценность — гибрид двух семейств методов.
PPOактуально
PPOУстойчивый policy-gradient метод с ограничением величины обновления политики.
Advantage Functionактуально
Функция преимуществаНасколько действие лучше среднего в этом состоянии. Вычитание базовой линии не меняет градиент в среднем, но резко снижает его дисперсию.
RLHFновинка
RLHFиз «Генеративный ИИ»Дообучение по человеческим предпочтениям: модель награды + оптимизация политики.
Offline RLновинка
Оффлайн RLОбучение политики по логам прошлых взаимодействий, без возможности экспериментировать со средой.
Planning and World Modelsновинка
Планирование и модели мираАгент учит компактную модель динамики и «воображает» в ней будущее. Так работают AlphaZero и Dreamer: поиск в модели вместо перебора в реальности.
Multi-armed Banditsактуально
Многорукие бандитыУпрощённый RL без состояний: выбираем действие, получаем награду и балансируем исследование с эксплуатацией.
Exploration in RLактуально
Исследование средыАгент не может узнать о награде, которой не пробовал. Баланс между использованием известного и проверкой неизвестного — центральная трудность всего обучения с подкреплением.
Model-Based RLактуально
Model-based методыАгент строит модель среды и планирует в ней вместо того, чтобы учиться только на реальном опыте. Дороже по вычислениям, зато на порядки экономнее по взаимодействиям.
Beta Distributionактуально
Бета-распределениеиз «Теория вероятностей и распределения»Распределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.
3 тем показаны здесь из других глав — они подходят по смыслу и открываются в своей главе.