定位：强化学习最底层数学框架，所有强化学习问题几乎都可以抽象成 MDP，用来描述智能体在不确定环境里连续做决策、最大化长期收益的全过程。

一、前置：马尔可夫性质（MDP 的灵魂）

1. 定义

未来只由当前决定，和过去无关公式简写：

大白话

我下一步去哪，只看现在在哪，不记得之前走过什么路，无记忆性。

---

二、MDP 完整 5 大核心要素（必背）

标准五元组：(S,A,P,R,γ)

1. S：状态空间 State

• 智能体所有能处于的环境状态集合
• 例子：迷宫里的每个格子、游戏画面、机器人位置

2. A：动作空间 Action

• 智能体所有能执行的动作
• 例子：上下左右、开火、前进、左转

3. P：状态转移概率 Transition

P(s'|s,a)

• 含义：当前在状态 s，执行动作 a，跳到下一个状态 s' 的概率
• 代表环境随机性：同样动作不一定到同一个地方

4. R：即时奖励 Reward

R(s,a,s')

• 做完动作立刻拿到的瞬时分数
• 正向奖励：加分（吃到食物、到达终点）
• 负奖励：扣分（撞墙、掉坑）

5. γ：折扣因子 Discount factor

范围：{0，1}

• 作用：压低未来奖励权重
• 越接近 1：越看重长远收益
• 越接近 0：只看眼前即时奖励

---

三、MDP 完整交互流程（时序过程）

1. 时刻 t：智能体观测当前状态 s_t
2. 智能体根据策略选择动作 a_t
3. 环境依据转移概率 P 给出下一个状态 s_{t+1}
4. 智能体获得即时奖励 r_t
5. 进入 t+1 时刻，重复循环直到终止

---

四、核心关键概念（强化学习必考）

1. 策略 Policy

策略 = 智能体的做事规则

1. 确定性策略：pi(s)=a同一个状态永远选同一个动作
2. 随机性策略：pi(a|s)状态 s 下选动作 a 的概率

MDP 最终目标：找到最优策略 

2. 折扣总回报 Return 

从 t 时刻往后所有奖励总和（带折扣）

• 不是只看当下奖励，是未来所有收益总和

3. 状态值函数 V(s)

含义：从状态s出发，遵循当前策略，能拿到的期望长期总回报

• 用来评判：这个状态好不好、值不值得待

4. 动作值函数 Q(s,a)

含义：在状态s下执行动作a，后续能拿到的期望长期总回报

• 用来评判：在这个状态选这个动作好不好
• 深度学习里最常用：DQN 就是拟合 Q 值

---

五、MDP 核心公式：贝尔曼方程（Bellman）

1. 状态值函数贝尔曼期望方程

通俗翻译当前状态的价值 = 立刻拿到的奖励 + 下一个状态价值打折扣后的期望值

2. 动作值函数贝尔曼方程

3. 最优贝尔曼方程

去掉策略，直接取最大收益：

含义：每个状态都选最优动作，得到全局最大价值

---

六、MDP 分类

1. 完全可观测 MDP智能体能看清全部环境状态 = 绝大多数强化学习场景
2. 部分可观测 POMDP只能看到局部信息（看不到全局），难度更高

---

七、MDP 常用求解方法

1. 动态规划 DP（已知环境模型 P、R）
   • 策略迭代
   • 值迭代
2. 蒙特卡洛 MC（靠采样轨迹算均值）
3. 时序差分 TD（最实用，TD0、TDλ）
4. 深度强化学习（未知环境，拟合 Q/V）
   • DQN、PPO、A3C 全部基于 MDP

---

八、生活化极简例子（秒懂）

例子：上班通勤 MDP

• 状态 S：在家、在路上、到公司
• 动作 A：坐地铁、打车、走路
• 转移 P：雨天打车容易堵车（转移概率变了）
• 奖励 R：准时到 + 10，迟到 - 20，花钱 - 5
• 折扣 γ：更在意今天上班，不在意一周后
• 策略：晴天地铁，雨天打车
• 值函数 V (在家)：评估从家里出发整体好不好

整个通勤过程就是标准马尔可夫决策过程

---

九、总结一句话

马尔可夫决策过程 MDP = 满足无记忆性的环境 + 智能体动作选择 + 即时奖励 + 长期收益折算，是一切序列决策、强化学习问题的统一数学模型。