RL

PPO/GRPO: 概率比率r*优势函数A，会对概率比率进行一定程度的裁剪，最后再加上kl散度的约束

1. PPO (Proximal Policy Optimization)

$$L^{PPO}(\theta )=-{\mathbb{E}}_{(x,y)}\left[\min \left(r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t\right)-\beta {\mathbb{D}}_{KL}({\pi }_{\theta }\parallel {\pi }_{ref})\right]$$

• $r_t(\theta )=\frac{{\pi }_{\theta }(y_t\mid x)}{{\pi }_{old}(y_t\mid x)}$：策略概率比率。
• ${\hat{A}}_t$：由 Critic 网络估计的优势函数（Advantage）。
• $ϵ$：对称裁剪的超参数（通常为 0.2）。
• ${\mathbb{D}}_{KL}$：防止模型过度偏离参考模型（Reference Model）的 KL 散度惩罚。

2. DPO (Direct Preference Optimization)

$$L^{DPO}(\theta )=-{\mathbb{E}}_{(x,y_w,y_l)}\left[\log \sigma \left(\beta \log \frac{{\pi }_{\theta }(y_w\mid x)}{{\pi }_{ref}(y_w\mid x)}-\beta \log \frac{{\pi }_{\theta }(y_l\mid x)}{{\pi }_{ref}(y_l\mid x)}\right)\right]$$

• $x$：输入的提示词（Prompt）。
• $y_w,y_l$：获胜（Win）的回答与失败（Lose）的回答。
• $\sigma$：Sigmoid 函数。
• $\beta$：控制策略偏离度的温度系数 / KL 惩罚系数。

3. GRPO (Group Relative Policy Optimization)

LGRPO(θ)=−Ex∼P(x),{yi}i=1G∼πold[1G∑i=1G(min⁡(ri(θ)A^i,clip(ri(θ),1−ϵ,1+ϵ)A^i)−βDKL(πθ(yi∣x)∥πref(yi∣x)))]L^{GRPO}(\theta) = -\mathbb{E}_{x \sim P(x), \{y_i\}_{i=1}^G \sim \pi_{old}} \left[ \frac{1}{G} \sum_{i=1}^{G} \left( \min \left( r_i(\theta) \hat{A}_i, \text{clip}(r_i(\theta), 1-\epsilon, 1+\epsilon) \hat{A}_i \right) - \beta \mathbb{D}_{KL}(\pi_\theta(y_i \mid x) \parallel \pi_{ref}(y_i \mid x)) \right) \right]LGRPO(θ)=−Ex∼P(x),{yi​}i=1G​∼πold​​[G1​i=1∑G​(min(ri​(θ)A^i​,clip(ri​(θ),1−ϵ,1+ϵ)A^i​)−βDKL​(πθ​(yi​∣x)∥πref​(yi​∣x)))]

• $G$：针对同一提示采样的回答组大小（Group Size）。
• $r_i(\theta )=\frac{{\pi }_{\theta }(y_i\mid x)}{{\pi }_{old}(y_i\mid x)}$：第 $i$ 个回答的策略概率比率。
• ${\hat{A}}_i=\frac{R_i-\text{mean}(R_1,\dots ,R_G)}{\text{std}(R_1,\dots ,R_G)}$：由规则系统算出的奖励分 $R$ 进行组内标准化的相对优势（省去了 Critic 网络）。

优势A是序列级的，奖励是对整条回答打的分（比如数学题对了得 1 分
概率比率 和裁剪是token级的

4. DAPO (Decoupled Clip and Dynamic Sampling Policy Optimization)

$$L^{DAPO}(\theta )=-\mathbb{E}\left[\frac{1}{G^{\prime }}\sum _{i=1}^{G^{\prime }}\frac{1}{T_i}\sum _{t=1}^{T_i}\min \left(r_{i,t}(\theta ){\hat{A}}_i,\text{clip}(r_{i,t}(\theta ),1-{ϵ}_{low},1+{ϵ}_{high}){\hat{A}}_i\right)\right]$$

• $G^{\prime }$：动态过滤掉方差为 0（如全对或全错）的样本后，剩余的有效组大小。
• $T_i$：第 $i$ 个回答的 Token 总长度（引入 Token 级别的损失计算以应对超长文本）。
• $r_{i,t}(\theta )$：第 $i$ 个回答中第 $t$ 个 Token 的策略概率比率。
• ${ϵ}_{low},{ϵ}_{high}$：非对称裁剪的下界与上界（通常 ${ϵ}_{high}>{ϵ}_{low}$，鼓励模型探索更好的解）。

改动一：非对称裁剪（Decoupled Clip） 把原来对称的 $[1-ϵ,1+ϵ]$ 拆成两个独立参数：

$$\text{clip}(r_i,1-{ϵ}_{low},1+{ϵ}_{high})$$

正向和负向更新用不同力度，避免"好的回答更新太保守，坏的回答惩罚太弱"的问题。

改动二：动态采样（Dynamic Sampling） 过滤掉组内全对或全错的样本，因为这种组的优势值为 0，提供不了任何学习信号，纯属浪费计算。

改动三：Token 级别 Loss 原始 GRPO 是 sample 级别平均，DAPO 改为对每个 token 平均，缓解长回答被"稀释"的问题。

改动四：去掉 KL 惩罚 用熵正则化替代，鼓励模型保持多样性，防止输出退化。

GSPO

把裁剪移到序列级

GSPO 的核心思路是：既然语言模型的输出单位是序列，trust region 的约束就应该定义在序列级别上。

$$L^{GSPO}(\theta )=-\mathbb{E}\left[\frac{1}{G}\sum _{i=1}^G\min \left({\tilde{r}}_i(\theta ){\hat{A}}_i,\text{clip}({\tilde{r}}_i(\theta ),1-ϵ,1+ϵ){\hat{A}}_i\right)\right]$$

关键变化是 $r_{i,t}$（token 级）换成了 ${\tilde{r}}_i$（序列级），裁剪只做一次，作用在整条回答上。

变体	核心改动	解决的主要问题
GRPO	组内相对优势，去掉 Critic	省掉价值网络
DAPO	非对称裁剪 + 动态采样	训练稳定性和效率
Dr. GRPO	修正归一化统计偏差	梯度估计的无偏性
RLOO	留一基线，不除标准差	更简洁且理论无偏
GSPO	裁剪粒度从 token 级升到序列级	trust region 在序列层面真正生效

Diffusion

DDPM (Denoising Diffusion Probabilistic Models)

噪声调度（变量定义）：

$${\beta }_t\in (0,1),{\alpha }_t=1-{\beta }_t,{\bar{\alpha }}_t=\prod _{s=1}^t{\alpha }_s$$

前向过程（单步加噪）：

$$q(x_t\mid x_{t-1})=\mathcal{N}\left(\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I\right)$$

前向过程（一步跳转）：

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,ϵ\sim \mathcal{N}(0,I)$$

反向过程（随机采样）：

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{\hat{x}}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}{ϵ}_{\theta }(x_t,t)+{\sigma }_{t}z,z\sim \mathcal{N}(0,I)$$

原始数据估计${\hat{x}}_0$：

$${\hat{x}}_0=\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}$$

后验方差${\sigma }_t$：

$${\sigma }_t=\sqrt{\frac{(1-{\bar{\alpha }}_{t-1}){\beta }_t}{1-{\bar{\alpha }}_t}},\text{其中 }{\beta }_t=1-\frac{{\bar{\alpha }}_t}{{\bar{\alpha }}_{t-1}}$$

优化目标（MSE Loss）：

$$L_{\mathrm{DDPM}}={\mathbb{E}}_{t,x_0,ϵ}\left[{\Vert ϵ-{ϵ}_{\theta }(x_t,t)\Vert }^2\right]$$

β_t 是设计的噪声强度 → α_t = 1 - β_t 是信号保留率 → ᾱ_t = ∏α_s 是累积保留率，支撑一步采样的前向公式 → σ_t 由 β_t 和 ᾱ_t 共同决定，是反向采样的真实后验方差，控制每步的随机性大小。

---

2. DDIM (Denoising Diffusion Implicit Models)

反向过程 (确定性采样，即令 ${\sigma }_t=0$):

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{\hat{x}}_0+\sqrt{1-{\bar{\alpha }}_{t-1}}{ϵ}_{\theta }(x_t,t)$$

(注：前向过程边缘分布、${\hat{x}}_0$ 的定义以及优化目标均与 DDPM 完全相同。)

---

3. Flow Matching

(注：时间方向 $t\in [0,1]$，$t=0$ 为纯噪声，$t=1$ 为干净数据)

训练路径 (条件流/直线插值):

$$x_t=(1-t)x_0+t{x}_1,x_0\sim \mathcal{N}(0,I),x_1\sim p_{\mathrm{data}}$$

推理过程 (ODE 求解):

$$\frac{dx}{dt}=v_{\theta }(x_t,t)$$

优化目标 (MSE Loss):

$$L_{\mathrm{FM}}={\mathbb{E}}_{t,x_0,x_1}\left[{\Vert v_{\theta }(x_t,t)-(x_1-x_0)\Vert }^2\right]$$

---

4. PF-ODE (Probability Flow ODE / 连续时间框架补充)

扩散模型的概率流 ODE 等价形式 (Score-based 框架):

$$dx=\left[f(x,t)-\frac{1}{2}{g}^2(t){\nabla }_x\log p_t(x)\right]dt$$

ELBO (证据下界，扩散模型变分推导基础):

$$\log p_{\theta }(x_0)\ge {\mathbb{E}}_q\left[\log \frac{p_{\theta }(x_0,x_1,\dots ,x_T)}{q(x_1,\dots ,x_T\mid x_0)}\right]$$

DDPM 的视角（2020）：概率图模型
DDPM 是站在 变分自编码器（VAE）和马尔可夫链 的肩膀上推导出来的。在那个框架下，前向必须是马尔可夫链，后验推导极其依赖联合概率分解，因此不可避免地带入了随机项。在当时的理论框架内，DDPM 是非常严谨且完美的。

DDIM 的视角（2020末）：非马尔可夫的泛化
DDIM 的作者跳出了马尔可夫的限制，发现只要边缘分布对齐，联合分布怎么构造都可以。这是一种对 DDPM 图模型的巧妙拓展。