КабинетПоиск
Обучение с подкреплением

Offline RL

Оффлайн RL

новинкаНовое или быстро растущее направление

Направления: Продвинутый ML · Обучение с подкреплением

Обучение по логам прошлых взаимодействий, без возможности экспериментировать со средой.

Ключевые тезисы

  • Главная проблема — экстраполяция: модель переоценивает действия, которых нет в данных.
  • CQL и IQL штрафуют оценку за выход из распределения логов.
  • Оценка по логам ( evaluation) — отдельная и непростая задача.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

Q-функция обучается на действиях из логов, но при выборе максимума заглядывает и в действия, которых там не было. Для них оценка ничем не подкреплена и обычно завышена — начинает предпочитать именно их.

  • CQL штрафует Q-значения действий вне распределения данных.
  • IQL вообще избегает максимизации по неизвестным действиям, используя квантильную регрессию.
  • BCQ ограничивает действиями, похожими на логированные.

  • Importance sampling: перевзвешивание логов отношением вероятностей политик; огромна при длинных траекториях.
  • Doubly robust сочетает модель награды и перевзвешивание — устойчивее.
  • Практический минимум: сравнение с логированной политикой на отложенном периоде и осторожный онлайн-пилот.
На практике

Оффлайн особенно интересен там, где эксперименты дороги или опасны: медицина, промышленное управление, рекомендации с долгим горизонтом.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

0:17Введение в тему offline reinforcement learningОбучение с подкреплением · Лекция «Offline Reinforcement Learning» · 2 ч 50 мин

Связанные темы

Решения в условиях неопределённости

Multi-armed Bandits80%

Многорукие бандиты · Обучение с подкреплением

Упрощённый RL без состояний: выбираем действие, получаем награду и балансируем исследование с эксплуатацией.

Beta Distribution80%

Бета-распределение · Теория вероятностей и распределения

Распределение вероятности на отрезке [0,1] — естественный априор для конверсии и для многоруких бандитов.

A/B testing80%

A/B-тестирование · Оценка моделей

Онлайн-эксперимент, который единственный честно измеряет влияние модели на продуктовые метрики.

Experiment Infrastructure80%

Инфраструктура экспериментов · Системный дизайн ML-сервисов

Механика раскатки: разделение трафика, стабильные группы, метрики и автоматический откат.

Bayesian Optimization80%

Байесовская оптимизация · Практика ML

Строит модель зависимости метрики от гиперпараметров и выбирает следующую точку осознанно.

Следующий шагДальше по связи: Multi-armed BanditsУпрощённый RL без состояний: выбираем действие, получаем награду и балансируем исследование с эксплуатацией.Перейти →
← Multi-armed Bandits

Глава «Обучение с подкреплением» последний раз правилась . Нашли ошибку — напишите.