Алгоритмы бандитов

Что разбирают и где

Тайм-коды записи, разобранные по темам атласа: под главой стоят темы, которые в ней названы, — из лекции можно уйти в текстовый разбор и вернуться.

Смотреть запись · Алгоритмы бандитов

Нажатие на тайм-код перематывает запись, не перезагружая страницу. Открыть на YouTube ↗

1. 6:04Введение в тему бандитовMulti-armed Bandits
2. 7:31Сравнение бандитов и полного RLMulti-armed Bandits
3. 9:09Ключевые отличия: отсутствие влияния на стейт
4. 11:04Пример применения: рекомендательные системы
5. 12:06Формальная постановка задачи бандитовMulti-armed Bandits
6. 14:24Одношаговая игра и терминальные состояния
7. 16:02Два эквивалентных взгляда на постановку
8. 17:45Почему бандиты — не supervised learningMulti-armed Bandits
9. 19:16Необходимость баланса exploration-exploitation
10. 22:11Классическая постановка: мультиарм-бандиты
11. 25:02Примеры: новостной сайт и клинические испытания
12. 27:02Формализм: политика, Q-функция и value-функцияValue FunctionsPolicy Gradient
13. 29:32Определение сожаления (regret)
14. 35:20Асимптотика и скорость роста сожаленияTime and Space Complexity
15. 37:13Upper bound на сожаление: линейный рост
16. 42:05Lower bound на сожаление: теорема Лайя-Роббинса
17. 52:37Наивный алгоритм: оценка средних
18. 59:02Эпсилон-жадная стратегия и её недостатки
19. 1:01:30Принцип оптимизма перед неопределённостью
20. 1:09:14Алгоритм UCB (Upper Confidence Bound)Multi-armed Bandits
21. 1:12:35Использование неравенства Хёффдинга в UCBMulti-armed Bandits
22. 1:22:52Теоретические гарантии UCB: логарифмический regretMulti-armed Bandits
23. 1:26:08Байесовский подход и моделирование распределений
24. 1:35:12Бернулли-бандиты и бета-распределениеBeta Distribution
25. 1:41:15Томпсоновское сэмплирование (Thompson Sampling)Multi-armed Bandits
26. 1:45:34Теоретические гарантии Томпсоновского сэмплирования
27. 1:46:54Перерыв
28. 1:58:55Контекстуальные бандиты (Contextual Bandits)Multi-armed Bandits
29. 2:00:57Наблюдаемый контекст и частичная наблюдаемостьMDP
30. 2:03:01Пример: персонализированная реклама
31. 2:06:49Линейные модели для контекстуальных бандитовMulti-armed Bandits
32. 2:09:23Disjoint Linear UCB алгоритмMulti-armed Bandits
33. 2:13:01Онлайн-апдейты и формула Шермана-Моррисона
34. 2:14:35Байесовская интерпретация ридж-регрессии
35. 2:18:09Нейросетевые подходы для контекстуальных бандитовMulti-armed Bandits
36. 2:20:04Бандиты с непрерывными действиямиMulti-armed Bandits
37. 2:21:33Применение гауссовских процессов (GP)
38. 2:28:07Алгоритм GP-UCB для непрерывных действий
39. 2:31:42Иллюстрация работы GP-UCB
40. 2:34:05Вычислительная сложность гауссовских процессов
41. 2:36:16Важность обучения на reward, а не на действияхReward Design
42. 2:37:57Контекстуальные бандиты на основе GP-UCBMulti-armed Bandits
43. 2:38:55Практические применения алгоритмов бандитовMulti-armed Bandits
44. 2:43:05Переход к семинару: реализация агентовAgents