DDPM / DDIM / Flow Matching: 扩散模型与连续归一化流

本文档详细介绍三种深度生成模型：DDPM（去噪扩散概率模型）、DDIM（去噪扩散隐式模型）和 Flow Matching（流匹配）。它们基于概率流或扩散过程，但在建模、采样速度和理论框架上各有特色。

---

1. DDPM：Denoising Diffusion Probabilistic Models

1.1 前向扩散过程

定义从数据 $x_0\sim q(x_0)$ 到噪声 $x_T$ 的马尔可夫链：

$$q(x_{1:T}\mid x_0)=\prod _{t=1}^{T}q(x_t\mid x_{t-1}),q(x_t\mid x_{t-1})=\mathcal{N}\left(x_t;\sqrt{1-{\beta }_t}{x}_{t-1},{\beta }_{t}I\right)$$

其中 ${\beta }_t$ 是噪声调度（通常从 ${\beta }_1$ 线性增加到 ${\beta }_T$）。令 ${\alpha }_t=1-{\beta }_t$, ${\bar{\alpha }}_t={\prod }_{s=1}^t{\alpha }_s$，可直接采样 $x_t$：

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,ϵ\sim \mathcal{N}(0,I)$$

1.2 反向去噪过程

反向过程也是马尔可夫链，从 $p(x_T)=\mathcal{N}(0,I)$ 开始：

$$p_{\theta }(x_{0:T})=p(x_T)\prod _{t=1}^T{p}_{\theta }(x_{t-1}\mid x_t)$$

建模为：

$$p_{\theta }(x_{t-1}\mid x_t)=\mathcal{N}\left(x_{t-1};{\mu }_{\theta }(x_t,t),{\sigma }_t^{2}I\right)$$

其中 ${\sigma }_t^2$ 常固定为 ${\beta }_t$ 或 $\frac{1-{\bar{\alpha }}_{t-1}}{1-{\bar{\alpha }}_t}{\beta }_t$。采用重参数化，用神经网络 ${ϵ}_{\theta }(x_t,t)$ 预测噪声 $ϵ$，则均值：

$${\mu }_{\theta }(x_t,t)=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)\right)$$

1.3 训练目标

简化损失函数（噪声预测均方误差）：

$${\mathcal{L}}_{\text{simple}}={\mathbb{E}}_{t,x_0,ϵ}\left[\Vert ϵ-{ϵ}_{\theta }(\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ,t){\Vert }^2\right]$$
预测噪声的好处是：

• 训练稳定
• 目标分布简单
• 高斯噪声容易建模
• 在不同时间步上目标尺度相对统一

1.4 采样（生成）

从 $x_T\sim \mathcal{N}(0,I)$ 开始，迭代 $t=T,\dots ,1$：

$$x_{t-1}=\frac{1}{\sqrt{{\alpha }_t}}\left(x_t-\frac{{\beta }_t}{\sqrt{1-{\bar{\alpha }}_t}}{ϵ}_{\theta }(x_t,t)\right)+{\sigma }_{t}z,z\sim \mathcal{N}(0,I)$$

特点：质量高，但采样需要数百至数千步（如 T=1000），速度慢。

---

2. DDIM：Denoising Diffusion Implicit Models

DDIM 是对 DDPM 的重要改进，核心目标是：在不重新训练模型的情况下，加速 DDPM 的采样。

DDIM 不是重新设计训练目标，而是重新设计采样路径。
也就是说：

• DDPM 和 DDIM 可以使用同一个训练好的噪声预测网络
• DDPM 是随机采样
• DDIM 可以是确定性采样
• DDIM 可以用更少步数生成图像

2.1 非马尔可夫前向过程

DDIM 定义一族非马尔可夫过程，使得反向过程可以跳步采样。前向仍满足边际分布 $q(x_t\mid x_0)=\mathcal{N}(\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)I)$，但联合分布定义为：

$$q_{\sigma }(x_{1:T}\mid x_0)=q_{\sigma }(x_T\mid x_0)\prod _{t=2}^T{q}_{\sigma }(x_{t-1}\mid x_t,x_0)$$

其中

$$q_{\sigma }(x_{t-1}\mid x_t,x_0)=\mathcal{N}\left(\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}\cdot \frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}},{\sigma }_t^{2}I\right)$$

• ${\sigma }_t=0$：确定性过程（DDIM）
• ${\sigma }_t=\sqrt{(1-{\bar{\alpha }}_{t-1})/(1-{\bar{\alpha }}_t)}\sqrt{1-{\bar{\alpha }}_t/{\bar{\alpha }}_{t-1}}$：恢复 DDPM

2.2 反向采样（确定性 DDIM）

给定 $x_t$ 和预测噪声 ${ϵ}_{\theta }(x_t,t)$，直接计算 $x_{t-1}$（无额外噪声）：

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}\underset{\text{预测的 }{x}_0}{\underbrace{\left(\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}\right)}}+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}{ϵ}_{\theta }(x_t,t)$$

当 ${\sigma }_t=0$ 时：

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}\left(\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}\right)+\sqrt{1-{\bar{\alpha }}_{t-1}}{ϵ}_{\theta }(x_t,t)$$

这相当于一个确定性 ODE 的离散化，可以采用大步长（例如每 20 步跳一次），用 50 步即可达到与 DDPM 1000 步相近的质量。

2.3 训练

DDIM 使用与 DDPM 完全相同的训练目标 ${\mathcal{L}}_{\text{simple}}$，无需改变模型结构。

优势：快速采样（50 步），确定性生成（便于隐空间插值），可调整随机性。

---

3. Flow Matching

3.1 连续归一化流视角

考虑时间 $t\in [0,1]$ 上的概率路径 $p_t(x)$，满足 $p_0=p_{\text{noise}}$（如 $\mathcal{N}(0,I)$），$p_1=p_{\text{data}}$。希望学习一个向量场 $v_t(x)$，使得概率密度满足连续性方程：

$$\frac{\partial p_t}{\partial t}+\nabla \cdot (p_t{v}_t)=0$$

相应的流 ${\varphi }_t(x)$ 定义为 $\frac{d}{dt}{\varphi }_t(x)=v_t({\varphi }_t(x))$，且 ${\varphi }_0(x)=x$。那么 $x_t={\varphi }_t(x_0)\sim p_t$。
${\varphi }_t(x)$表示一个样本点从初始位置出发，经过时间 t 后被搬运到了哪里。

3.2 条件流匹配 (Conditional Flow Matching)

直接学习 $v_t(x)$ 是困难的
条件概率路径 (在给定条件 z 的情况下，时间 t 时样本 x 应该分布在哪里) $p_t(x\mid z)$
条件向量场 $v_t(x\mid z)$ （在给定条件 z 的情况下，路径上某个点应该以什么速度移动。）
其中 $z$ 为条件变量（例如数据样本 $x_1$ 和噪声样本 $x_0$）。

可以证明，边际向量场等于条件向量场的期望：
$$v_t(x)={\mathbb{E}}_{z\sim q(z\mid x)}\left[v_t(x\mid z)\right]$$
可以理解为： 一个点 x 的整体速度，可以看成所有可能条件路径速度的平均。一个点 x 的整体速度，可以看成所有可能条件路径速度的平均。

• 训练目标为条件流匹配损失：

$${\mathcal{L}}_{\text{CFM}}={\mathbb{E}}_{t\sim \mathcal{U}(0,1),z\sim q(z),x\sim p_t(x\mid z)}\left[\Vert v_{\theta }(t,x)-v_t(x\mid z){\Vert }^2\right]$$
随机采样一个时间t，随机采样一个条件z, 根据条件路径得到中间点$x_t$， 计算这条路劲上的真实速度$v_t(x|z)$ 让模型预测速度$v_{\theta }(t,x)$。
模型预测的速度 和 真实路径速度 越接近越好

3.3 一种简单实现：线性插值路径

取 $z=(x_0,x_1)$，其中 $x_0\sim \mathcal{N}(0,I)$，$x_1\sim p_{\text{data}}(x_1)$。定义：

$$x_t=(1-t)x_0+t{x}_1$$

则条件向量场为：

$$v_t(x\mid x_0,x_1)=x_1-x_0$$

对应的条件概率路径 $p_t(x\mid x_0,x_1)=\mathcal{N}(x;(1-t)x_0+t{x}_1,0)$
给定 $x_0$和 $x_1$之后，时间 t 的位置是确定的，没有随机性。
高斯分布其实退化成一个点，也可以理解成狄拉克分布：概率全部集中在 $x_t$ 这个点上

CFM 损失简化为：

$${\mathcal{L}}_{\text{CFM}}={\mathbb{E}}_{t,x_0,x_1}\left[\Vert v_{\theta }(t,x_t)-(x_1-x_0){\Vert }^2\right],x_t=(1-t)x_0+t{x}_1$$

3.4 采样（生成）

训练后，从 $x_0\sim \mathcal{N}(0,I)$ 开始，求解 ODE：

$$\frac{d{x}_t}{dt}=v_{\theta }(t,x_t),t:0\to 1$$

可使用欧拉法或龙格-库塔法，通常 50 步即可获得高质量样本。

3.5 与扩散模型的关系

• 扩散模型的概率流 ODE 可以看作 Flow Matching 的特例，其中向量场通过分数函数 $\nabla \log p_t(x)$ 构造。
• Flow Matching 直接回归向量场，避免了对分数函数的间接估计和噪声调度的超参数调优。

优势：训练稳定，采样快速，框架统一，可灵活设计概率路径。

---

4. 对比总结

特性	DDPM	DDIM	Flow Matching
过程类型	随机 SDE	确定性/随机 ODE	确定性 ODE
训练目标	$|ϵ-{ϵ}_{\theta }{|}^2$	同 DDPM	$|v_{\theta }-(x_1-x_0){|}^2$
典型采样步数	1000+	50	50
跳步采样	不支持	支持	支持（ODE 求解器）
随机性	固有	可调 (${\sigma }_t$)	确定性（给定 ODE 求解器）
超参数	噪声调度 ${\beta }_t$	同 DDPM	路径选择（如插值）

---

Flow Matching 的核心是学习一个连续时间的速度场，把简单噪声分布逐渐搬运到真实数据分布。它假设在 t∈[0,1] 上存在一条概率路径 $p_t(x)$，其中 $p_0$是噪声分布，
$p_1$是数据分布。速度场
$v_t(x)$ 需要满足连续性方程，表示概率质量在速度场推动下守恒地流动。由于直接学习边际速度场比较困难，Conditional Flow Matching 会先构造条件路径，例如给定噪声样本 $x_0$和真实样本 $x_1$，定义线性插值 $x_t=(1-t)x_0+t_{x_1}$。这条路径的真实速度就是 $x_1-x_0$，所以训练时让模型$v_{\theta }(t,x_t)$去拟合这个速度。生成时从高斯噪声开始，沿着模型预测的速度场解 ODE，从 t=0 积分到 t=1，最后得到生成样本。

DDIM 公式的直观理解

DDIM 的公式看起来比较复杂，但核心其实只有一句话：

DDIM 在已知当前带噪样本 $x_t$ 的情况下，先估计“干净图像方向”和“噪声方向”，然后按照更干净时间步的比例重新组合出 $x_{t-1}$。

---

先记住 DDPM / DDIM 共同的前向加噪公式

前向加噪的边际分布是：

$$q(x_t\mid x_0)=\mathcal{N}\left(\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)I\right)$$

等价地，可以写成：

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$$

其中：

$$ϵ\sim \mathcal{N}(0,I)$$

这个公式的直观含义是：

$$x_t=\text{一部分原图}+\text{一部分噪声}$$

其中：

• $x_0$：干净图像
• $x_t$：第 t 步的带噪图像
• $ϵ$：标准高斯噪声
• $\sqrt{{\bar{\alpha }}_t}$：原图保留比例
• $\sqrt{1-{\bar{\alpha }}_t}$：噪声比例

所以任何一个$x_t$，都可以理解成：

x_t = 原图成分 + 噪声成分

---

DDIM 想解决的问题

现在我们有一个带噪图像：

$$x_t$$

我们希望得到更干净一点的：

$$x_{t-1}$$

DDIM 的想法是：

既然 $x_t$ 是由“原图成分 + 噪声成分”组成的，那么我可以先把其中的噪声方向找出来，然后重新组合成 $x_{t-1}$。

也就是说：

x_t 里面有什么？
= 一部分 x_0 + 一部分 noise

x_{t-1} 应该是什么？
= 更多一点 x_0 + 少一点 noise

因为 (t-1) 比 (t) 更接近干净图像，所以：

• 原图比例应该变大
• 噪声比例应该变小

---

公式里最关键的一项

DDIM 的条件分布写作：

$$q_{\sigma }(x_{t-1}\mid x_t,x_0)=\mathcal{N}\left(\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}\cdot \frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}},{\sigma }_t^{2}I\right)$$

里面最关键的是这一项：

$$\frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}}$$

它看起来复杂，但本质上就是从 $x_t$ 里面把噪声提取出来。

因为：

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$$

所以：

$$x_t-\sqrt{{\bar{\alpha }}_t}{x}_0=\sqrt{1-{\bar{\alpha }}_t}ϵ$$

两边再除以：

$$\sqrt{1-{\bar{\alpha }}_t}$$

得到：

$$\frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}}=ϵ$$

也就是说，公式里面这部分：

$$\frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}}$$

本质上就是：

$$ϵ$$

也就是“噪声方向”。

---

DDIM 公式的简化理解

原始公式是：

$$q_{\sigma }(x_{t-1}\mid x_t,x_0)=\mathcal{N}\left(\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}\cdot \frac{x_t-\sqrt{{\bar{\alpha }}_t}{x}_0}{\sqrt{1-{\bar{\alpha }}_t}},{\sigma }_t^{2}I\right)$$

把复杂的噪声项替换成$ϵ$，可以理解成：

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}ϵ+{\sigma }_{t}z$$

其中：

$$z\sim \mathcal{N}(0,I)$$

现在这个公式就直观很多：

$$x_{t-1}=\text{原图成分}+\text{保留下来的旧噪声方向}+\text{新加入的随机噪声}$$

也可以写成：

x_{t-1}
= 一部分干净图像
+ 一部分从 x_t 中继承来的噪声
+ 一部分额外随机噪声

---

每一项分别是什么意思？

第一项：干净图像方向

$$\sqrt{{\bar{\alpha }}_{t-1}}{x}_0$$

它表示：

在 t-1 时刻，应该保留多少原图成分

因为 (t-1) 比 (t) 更干净，所以通常有：

$${\bar{\alpha }}_{t-1}>{\bar{\alpha }}_t$$

因此：

$$\sqrt{{\bar{\alpha }}_{t-1}}>\sqrt{{\bar{\alpha }}_t}$$

也就是说，往前去噪一步之后，原图成分变多了。

---

第二项：继承原来的噪声方向

$$\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}ϵ$$

它表示：

从 x_t 中提取出来的噪声方向，在 x_{t-1} 中还保留多少

这里的$ϵ$不是新噪声，而是从当前$x_t$ 中反推出的噪声方向。

如果是确定性 DDIM 采样，就主要靠这个噪声方向继续走。

---

第三项：额外随机噪声

$${\sigma }_{t}z$$

它表示：

这一步额外加入多少随机性

其中：

$$z\sim \mathcal{N}(0,I)$$

(\sigma_t) 越大，随机性越强。

当：

$${\sigma }_t=0$$

时，就没有额外随机噪声。

---

${\sigma }_t$ 控制什么？

${\sigma }_t$ 控制的是：

从 $x_t$ 到 $x_{t-1}$ 的时候，要不要额外注入随机噪声。

因此：

${\sigma }_t$	含义
${\sigma }_t$= 0	不加新噪声，确定性采样
${\sigma }_t$ > 0	加一些随机噪声，随机采样
特定 DDPM 取值	恢复 DDPM 的随机反向过程

---

为什么${\sigma }_t$= 0 就是 DDIM？

当：

$${\sigma }_t=0$$

公式变成：

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{x}_0+\sqrt{1-{\bar{\alpha }}_{t-1}}ϵ$$

也就是说：

x_{t-1}
= t-1 时刻应该有的原图比例
+ t-1 时刻应该有的噪声比例

这个过程中没有额外随机项。

所以只要：

• 初始噪声 $x_T$ 固定
• 模型固定
• 时间步序列固定

那么每一步的结果都是固定的。

这就是 DDIM 的确定性采样。

---

为什么 DDIM 可以跳步？

DDPM 原始采样是：

$$x_T\to x_{T-1}\to x_{T-2}\to \cdots \to x_0$$

它通常需要一步一步走。

而 DDIM 的关键是：

它不强制必须经过每一个相邻时间步，只要求每个时刻的边际分布形式保持一致。

也就是保持：

$$q(x_t\mid x_0)=\mathcal{N}\left(\sqrt{{\bar{\alpha }}_t}{x}_0,(1-{\bar{\alpha }}_t)I\right)$$

如果这个边际分布形式保持住，那么可以从：

$$x_t$$

直接跳到：

$$x_s$$

其中：

$$s<t$$

例如可以从：

$$1000\to 800\to 600\to 400\to 200\to 0$$

而不是：

$$1000\to 999\to 998\to \cdots \to 0$$

这就是 DDIM 能够加速采样的原因。

---

非马尔可夫是什么意思？

DDPM 的反向过程类似：

$$x_t\to x_{t-1}$$

它只依赖当前状态$x_t$。

这种过程是马尔可夫过程。

而 DDIM 定义的是：

$$q_{\sigma }(x_{t-1}\mid x_t,x_0)$$

它不仅依赖：

$$x_t$$

还依赖：

$$x_0$$

所以它不是普通的马尔可夫链。

可以直观理解为：

DDPM：
我只看当前带噪图像 x_t，然后生成下一步 x_{t-1}

DDIM：
我还参考这个样本最终应该对应的干净图像 x_0，
然后决定怎么从 x_t 走到 x_{t-1}

当然，真实采样时我们不知道真正的 (x_0)，所以会用模型预测的：

$${\hat{x}}_0$$

来代替。

---

真实采样时没有 $x_0$，怎么办？

理论公式里可以写$x_0$，但生成时我们只有：

$$x_t$$

没有真实图像 $x_0$。

因此，实际采样时会先用模型预测噪声：

$${ϵ}_{\theta }(x_t,t)$$

然后估计干净图像：

$${\hat{x}}_0=\frac{x_t-\sqrt{1-{\bar{\alpha }}_t}{ϵ}_{\theta }(x_t,t)}{\sqrt{{\bar{\alpha }}_t}}$$

然后把公式里的 (x_0) 替换成：

$${\hat{x}}_0$$

于是实际采样公式变成：

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{\hat{x}}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}{ϵ}_{\theta }(x_t,t)+{\sigma }_{t}z$$

这就是实际 DDIM / DDPM sampler 里面常见的形式。

---

一句话理解整个公式

DDIM 的复杂公式本质上是在说：

从当前带噪图像 $x_t$ 出发，先估计它对应的干净图像 $x_0$ 和噪声方向$ϵ$，然后按照 t-1 时刻应该有的“图像比例”和“噪声比例”重新组合出$x_{t-1}$。${\sigma }_t$ 决定是否额外加入随机噪声。

---

---

总结

DDIM 的采样公式可以理解为把 $x_t$ 分解成两部分：干净图像成分和噪声成分。因为前向加噪满足

$$x_t=\sqrt{{\bar{\alpha }}_t}{x}_0+\sqrt{1-{\bar{\alpha }}_t}ϵ$$
所以可以从 $x_t$ 和 $x_0$ 中反推出噪声方向$ϵ$。然后为了得到$x_{t-1}$，DDIM 按照 $t-1$ 时刻对应的信噪比，重新组合干净图像方向和噪声方向。公式中的 ${\sigma }_t$ 控制额外随机噪声的大小，当 ${\sigma }_t=0$ 时没有随机项，采样是确定性的，这就是 DDIM；当 ${\sigma }_t$ 取特定值时，可以恢复 DDPM 的随机采样过程。DDIM 的关键是保持每个时刻 $q(x_t|x_0)$ 的边际分布不变，但允许非马尔可夫的联合过程，因此可以跳过很多时间步进行快速采样。

---

最简洁记忆版

可以把 DDIM 公式记成：

$$x_{t-1}=\text{更强的图像成分}+\text{更弱的噪声成分}+\text{可选随机噪声}$$

对应公式是：

$$x_{t-1}=\sqrt{{\bar{\alpha }}_{t-1}}{\hat{x}}_0+\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}{ϵ}_{\theta }+{\sigma }_{t}z$$

其中：

项	作用
$\sqrt{{\bar{\alpha }}_{t-1}}{\hat{x}}_0$	保留更多干净图像
$\sqrt{1-{\bar{\alpha }}_{t-1}-{\sigma }_t^2}{ϵ}_{\theta }$	保留一部分原噪声方向
${\sigma }_{t}z$	额外随机噪声
${\sigma }_t=0$	确定性 DDIM
${\sigma }_t$ 取 DDPM 对应值	恢复 DDPM 随机采样