MDP

Формальная рамка : состояния, действия, переходы, награды и коэффициент .

Ключевые тезисы

Марковское свойство: будущее зависит только от текущего состояния.
Кортеж (S, A, P, R, γ) полностью описывает задачу.
POMDP расширяет модель на случай частичной наблюдаемости.

Какую задачу решает

Марковский процесс принятия решений — это язык, на котором формулируются все задачи . Он описывает мир как набор состояний, доступных в них действий, вероятностей перехода и наград, и вводит одно ключевое допущение: будущее зависит только от текущего состояния, а не от всей истории.

Значение допущения практическое: оно позволяет искать оптимальную стратегию как функцию от состояния, а не от всей прожитой траектории, и делает задачу вычислимой. Вся дальнейшая работа сводится к двум вопросам — как оценить, насколько хорошо состояние (функции ценности), и как выбирать действия ().

Как нарушается марковское свойство

Агент управляет тележкой и видит только её положение. Этого недостаточно: чтобы решить, куда двигаться, нужно знать ещё и скорость, а она в состоянии не закодирована — одно и то же положение при движении вправо и влево требует разных действий. Лечение стандартное: расширить состояние (добавить скорость) или склеить несколько последних наблюдений в одно состояние — именно так DQN подаёт на вход четыре последних кадра игры вместо одного. Если агент «необъяснимо» плох, первое, что стоит проверить, — достаточно ли информации в состоянии.

Подробный разбор

2 подтемы — объяснения, формулы, примеры и интерактивные графики.

M = ⟨ S, A, P (s^{'} ∣ s, a), R (s, a), γ ⟩

Обозначения

$γ$ коэффициент дисконтирования: насколько важна отложенная награда
$(s, a)$ состояние среды и выбранное в нём действие
$A$ матрица преобразования
$⟨ a, b ⟩$ скалярное произведение: мера согласованности векторов

Марковское свойство: будущее зависит только от текущего состояния, а не от всей истории.
$\gamma \in [0,1)$ — коэффициент : насколько важна отложенная награда. При $γ = 0$ агент близорук, при $γ \to 1$ — планирует далеко.
POMDP — обобщение на случай, когда состояние наблюдается частично (почти все реальные задачи).

G_{t} = k = 0 \sum \infty γ^{k} r_{t + k + 1}

Обозначения

$γ$ коэффициент дисконтирования: насколько важна отложенная награда
$r$ награда, полученная агентом на шаге
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$\sum$ суммирование по всем перечисленным элементам

Возврат — то, что агент на самом деле максимизирует

V_{k + 1} (s) = a max s^{'} \sum P (s^{'} ∣ s, a) [R (s, a) + γ V_{k} (s^{'})]

Обозначения

$γ$ коэффициент дисконтирования: насколько важна отложенная награда
$(s, a)$ состояние среды и выбранное в нём действие
$k$ номер или количество: индекс шага, число соседей, кластеров или позиций
$\sum$ суммирование по всем перечисленным элементам

Value iteration: повторяем до сходимости

Policy iteration чередует оценку и её улучшение; сходится за меньшее число итераций, но каждая дороже.
Оба метода требуют знания $P$ и $R$ — в реальных задачах их обычно нет, отсюда и появляется .
сначала выучивает модель среды, затем планирует в ней — это резко экономит взаимодействия.

Где применяется

Постановка задач Любая задача начинается с формулировки .
при известной модели даёт точное решение, если переходы известны.
Управление запасами и ценамиКлассические задачи, естественно ложащиеся на .
Диалоговые и рекомендательные системыПоследовательность взаимодействий с отложенной наградой.

Плюсы, минусы и альтернативы

Плюсы

Строгий и общий язык для задач последовательного принятия решений.
Марковское свойство делает задачу вычислимой.
При известной модели существует точное решение.
Единая рамка, в которой сравниваются все алгоритмы .

Минусы

Марковское свойство в реальных задачах часто нарушается.
Состояние приходится проектировать вручную, и это главная сложность.
Число состояний растёт экспоненциально с числом переменных.
Функция переходов обычно неизвестна.

Брать, если

Решения принимаются последовательно и влияют на будущее.
Награда отложена во времени.

Не брать, если

Решения независимы друг от друга — это обычная задача обучения с учителем.
Награда мгновенная и не зависит от предыдущих действий — достаточно многорукого бандита.

Чем заменяют

States / Actions / RewardsактуальноСостояния, действия, награды · Обучение с подкреплениемНужен разбор проектирования состояний и наград — самой сложной части на практике.Multi-armed BanditsактуальноМногорукие бандиты · Обучение с подкреплениемДействия не влияют на будущее: задача проще и решается надёжнее.Value FunctionsактуальноФункции ценности · Обучение с подкреплением сформулирован, следующий шаг — оценка ценности состояний.

Видеолекции

Записи университетских курсов, где эта тема звучит. Ссылка открывает запись с той секунды, где о ней говорят, — искать по трёхчасовой лекции не нужно.

48:10Марковский процесс принятия решений (MDP)Обучение с подкреплением · Лекция «Введение в Reinforcement Learning» · 3 ч 19 мин 31:22Переход к постановке Reinforcement LearningОбучение с подкреплением · Лекция «Model-Free Reinforcement Learning» · 2 ч 52 мин 1:51:36Введение в Reinforcement Learning from Verifiable RewardsОбучение с подкреплением · Лекция «Выравнивание языковых моделей» · 2 ч 16 мин 1:17:23Max-Entropy Reinforcement Learning: введение энтропийного бонусаОбучение с подкреплением · Лекция «Непрерывное управление (Continuous Control)» · 2 ч 43 мин 11:22Принцип Reinforcement Learning with Verifiable RewardsОбучение с подкреплением · Лекция «Обучение LLM-агентов и RL» · 3 ч 20 мин 53:28Проблема частичной наблюдаемости и стекинг фреймовОбучение с подкреплением · Лекция «Deep Q-Networks (DQN)» · 3 ч 6 мин

Связанные темы

Основы обучения с подкреплением

Кому эта тема нужна

Усиливает профиль: Инженер рекомендаций.

Добавить в учебную программу

Следующий шагДальше по связи: States / Actions / RewardsТри базовых элемента задачи. Дизайн награды определяет поведение агента сильнее алгоритма.Перейти →

Глава «Обучение с подкреплением» последний раз правилась 31 августа 2026 г.. Нашли ошибку — напишите.

Ключевые тезисы

Какую задачу решает

Подробный разбор

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

States / Actions / Rewards85%

Value Functions85%

Q-Learning85%

SARSA85%

Policy Gradient85%

Actor-Critic85%

DQN85%

PPO85%

Состояние, действие, награда

Марковское свойство

Функция переходов

Дисконтирование $γ$

Политика $π$

MDP

Ключевые тезисы

Какую задачу решает

Подробный разбор

1Формальное определениеПять компонентов, задающих любую задачу RL.

2Планирование при известной моделиValue iteration и policy iteration — с чего начинается RL.

Где применяется

Плюсы, минусы и альтернативы

Плюсы

Минусы

Брать, если

Не брать, если

Чем заменяют

Видеолекции

Связанные темы

States / Actions / Rewards85%

Value Functions85%

Q-Learning85%

SARSA85%

Policy Gradient85%

Actor-Critic85%

DQN85%

PPO85%

Ключевые понятия5 определений из текста — каждое со ссылкой на разбор

Состояние, действие, награда

Марковское свойство

Функция переходов

Дисконтирование γ

Политика π

Дисконтирование $γ$

Политика $π$