《扩散模型原理：从起源到发展》：第四章 扩散模型的今天：Score SDE 框架

---

专著：The Principles of Diffusion Models

---

   上一章：【扩散模型原理】（三）Score-Based Perspective: From EBMs to NCSN

---

Diffusion Models Today: Score SDE Framework

---

  到目前为止，我们已经从两个视角研究了扩散模型：变分视角与基于得分的视角，后者自然地从基于能量的模型（EBM）的公式化中衍生而来。现在我们将迈出下一步，转向连续时间框架。该框架的核心是得分随机微分方程（Score SDE）—— 这一连续极限将 DDPM 与 NCSN 统一为单一的数学表述。

  这一视角的强大之处在于，它以微分方程（DE）为基础，用清晰、原理性的描述拓展了离散更新。在该视角下，生成过程被简化为求解一个随时间演化的微分方程。这让我们可以直接应用数值分析中的工具：例如，基础的欧拉法可用于模拟动力学过程，而更先进的求解器则能提升稳定性与效率。

---

  
Figure 4.1 | 离散时间加噪步骤示意图：该图展示了从时刻 $t$ 到 $t+\Delta t$ 的噪声添加过程，其漂移系数为 $\mathbf{f}({\mathbf{x}}_t,t)$，扩散系数为 $g(t)$；

4.1 得分 SDE ：它的原理（Score SDE: Its Principles）

  多噪声尺度的使用，是 NCSN 与 DDPM 框架取得成功的核心要素。在本节中，我们将介绍得分随机微分方程（Score SDE）（Song et al., 2020c）的理论基础：该方法通过考虑连续的噪声尺度谱，对这一核心思想进行了拓展。
  前向与反向扩散过程的连续时间极限，其实早已由 Sohl-Dickstein et al. (2015) 提出；但 Song et al. (2020c) 将这一视角置于核心地位，通过将数据演化建模为随机 / 常微分方程，实现了噪声水平随时间的平滑递增。
  这种连续时间的公式化表述，不仅统一了此前的离散时间模型，还为生成式建模提供了一套原理清晰、灵活通用的理论基础 —— 将生成问题转化为了求解微分方程的问题。

4.1.1 动机：从离散时间过程到连续时间过程（Motivation: From Discrete to Continuous-Time Processes）

  我们重新审视 NCSN 与 DDPM 的前向加噪方案。NCSN 采用一组递增的噪声水平 { σ i } i = 1 L \{\sigma_i\}_{i=1}^L {σi​}i=1L​，对每个干净样本 $\mathbf{x}\sim p_{data}$ 进行如下扰动：
$${\mathbf{x}}_{{\sigma }_i}=\mathbf{x}+{\sigma }_i{\mathbf{ϵ}}_i,{\mathbf{ϵ}}_i\sim \mathcal{N}(0,\mathbf{I})$$DDPM 则通过方差调度 { β i } i = 1 L \{\beta_i\}_{i=1}^L {βi​}i=1L​ 逐步注入噪声：
$${\mathbf{x}}_i=\sqrt{1-{\beta }_i^2}{\mathbf{x}}_{i-1}+{\beta }_i{\mathbf{ϵ}}_i,{\mathbf{ϵ}}_i\sim \mathcal{N}(0,\mathbf{I})$$

  我们将二者置于同一离散时间网格下分析，其中从 ${\mathbf{x}}_t$​ 到 ${\mathbf{x}}_{t+\Delta t}$​ 的顺序更新形式为：
$$\text{NCSN:}{\mathbf{x}}_{t+\Delta t}={\mathbf{x}}_t+\sqrt{{\sigma }_{t+\Delta t}^2-{\sigma }_t^2}{\mathbf{ϵ}}_t\approx {\mathbf{x}}_t+\sqrt{\frac{\mathrm{d}{\sigma }_t^2}{\mathrm{d}t}\Delta t}{\mathbf{ϵ}}_t$$ $$\text{DDPM:}{\mathbf{x}}_{t+\Delta t}=\sqrt{1-{\beta }_t}{\mathbf{x}}_t+\sqrt{{\beta }_t}{\mathbf{ϵ}}_t\approx {\mathbf{x}}_t-\frac{1}{2}{\beta }_t{\mathbf{x}}_t\Delta t+\sqrt{{\beta }_t\Delta t}{\mathbf{ϵ}}_t$$其中 ${\mathbf{ϵ}}_t\sim \mathcal{N}(0,\mathbf{I})$。值得注意的是，两种加噪过程遵循统一的结构形式：$${\mathbf{x}}_{t+\Delta t}\approx {\mathbf{x}}_t+\mathbf{f}({\mathbf{x}}_t,t)\Delta t+g(t)\sqrt{\Delta t}{\mathbf{ϵ}}_t,\text{\hspace{1em}(4.1.1)}$$其中 $\mathbf{f}:{\mathbb{R}}^D\times \mathbb{R}\to {\mathbb{R}}^D$，$g:\mathbb{R}\to \mathbb{R}$，具体定义如下：
$$\text{NCSN:}\mathbf{f}(\mathbf{x},t)=0,g(t)=\sqrt{\frac{\mathrm{d}{\sigma }^2(t)}{\mathrm{d}t}}$$ $$\text{DDPM:}\mathbf{f}(\mathbf{x},t)=-\frac{1}{2}\beta (t)\mathbf{x},g(t)=\sqrt{\beta (t)}.$$该公式对应如下高斯转移分布：
$$p({\mathbf{x}}_{t+\Delta t}|{\mathbf{x}}_t):=\mathcal{N}\left({\mathbf{x}}_{t+\Delta t};{\mathbf{x}}_t+\mathbf{f}({\mathbf{x}}_t,t)\Delta t,g^2(t)\Delta t\mathbf{I}\right)\text{\hspace{1em}(4.1.2)}$$ 此处为简化表述，我们将 ${\mathbf{x}}_t$​ 视为固定样本，${\mathbf{x}}_{t+\Delta t}$ 视为随机变量。

  当 $\Delta t\to 0$（可从概念上理解为引入无穷多层噪声）时，离散时间过程收敛为一个随时间向前演化的连续时间随机微分方程（SDE）：$$\mathrm{d}\mathbf{x}(t)=\mathbf{f}(\mathbf{x}(t),t)\mathrm{d}t+g(t)\mathrm{d}\mathbf{w}(t)$$ 其中 $\mathbf{w}(t)$ 为标准维纳过程（即布朗运动）。

备注（remark）
  尽管此处无需给出完整的形式化定义，但仍说明如下：维纳过程是一个连续时间随机过程 $\mathbf{w}(t)$，其满足以下性质：从零点开始，具有独立增量；且对任意 $s<t$，增量 $\mathbf{w}(t)-\mathbf{w}(s)$ 服从均值为 $0$、方差为 $t-s$ 的正态分布。该过程代表了随时间累积的独立高斯涨落。虽然它几乎必然连续，但处处不可导。
  在无穷小时间区间 $[t,t+dt]$ 上，维纳过程的增量被定义为：
   $\mathrm{d}\mathbf{w}(t):=\mathbf{w}(t+\mathrm{d}t)-\mathbf{w}(t)$
其可被建模为一个均值为 $0$、方差为 $dt$ 的高斯随机变量：
   $\mathrm{d}\mathbf{w}(t)\sim \mathcal{N}(0,\mathrm{d}t\mathbf{I})$

  附录 A.2 节简要介绍了随机微分方程（SDE）的基础理论，附录 C 章则提供了更深入的进阶讨论。不过，我们可以从概念层面理解离散与连续公式化表述之间的对应关系如下：
  $\mathbf{x}(t+\Delta t)-\mathbf{x}(t)\approx \mathrm{d}\mathbf{x}(t)$
  $\Delta t\approx \mathrm{d}t$
  $\sqrt{\Delta t}{\mathbf{ϵ}}_t\sim \mathcal{N}(0,\Delta t\mathbf{I})\approx \mathrm{d}\mathbf{w}(t)$

  一旦确定了漂移项 $\mathbf{f}(\mathbf{x},t)$ 与扩散项 $g(t)$，前向时间 SDE 会自动引出一个反向时间 SDE，该方程可将终端噪声分布逆向映射回数据分布。令人惊讶的是，反向动力学仅包含一个未知项：各连续时间尺度下的得分函数。这一结论将得分匹配确立为训练目标：一旦学习到得分函数，采样过程就等价于用学习到的得分对反向时间 SDE 进行数值积分。

4.1.2 前向时间随机微分方程：从数据到噪声（Forward-Time SDEs: From Data to Noise）

  基于这一公式化表述，此前基于离散时间的方法（如 NCSN 与 DDPM ），均可在连续时间框架下得到统一：其对应一个由定义在时间区间 $[0,T]$ 上的前向随机微分方程（SDE）所支配的随机过程 $\mathbf{x}(t)$：$$\mathrm{d}\mathbf{x}(t)=\mathbf{f}(\mathbf{x}(t),t)\mathrm{d}t+g(t)\mathrm{d}\mathbf{w}(t),\mathbf{x}(0)\sim p_{\text{data}},\text{\hspace{1em}(4.1.3)}$$其中，$\mathbf{f}(\cdot ,t):{\mathbb{R}}^D\to {\mathbb{R}}^D$ 为漂移项，$g(t)\in \mathbb{R}$ 为标量扩散系数，$\mathbf{w}(t)$ 表示标准维纳过程。我们将该式称为前向随机微分方程（forward SDE），它描述了干净数据如何随时间逐步被扰动为噪声的过程。
  
Figure 4.2 | 扩散模型前向过程的（一维）可视化：该过程从从复杂的双峰数据分布（$p_0=p_{\text{data}}$​）中采样得到的初始点（标记为 “$\times$”）开始，向一个简单的单峰高斯先验（$p_T\approx p_{\text{prior}}$）演化。背景热力图展示了随时间演化的边缘概率密度 $p_t$​，其形态随时间逐渐变得平滑。图中展示了样本轨迹从 $t=0$ 到 $t=T$ 的演化过程，对比了随机前向 SDE 过程（蓝色路径）与其确定性对应物 ——PF-ODE（白色路径）。需注意的是，PF-ODE 是用于密度的确定性传输映射，通常并非指从单点出发的样本路径均值；（从左往右）

  一旦确定了漂移项 $\mathbf{f}$ 与扩散系数 $g$，前向过程便被完全确定，描述了数据变量如何通过注入高斯噪声被逐步破坏。具体而言，该过程会诱导出两类时间依赖的概率密度：

扰动核。 条件分布：
$$p_t({\mathbf{x}}_t|{\mathbf{x}}_0)$$描述了干净数据样本 ${\mathbf{x}}_0\sim p_{\text{data}}$​ 如何演化到时刻 $t$ 对应的含噪样本 ${\mathbf{x}}_t$。一般而言，式 (4.1.3) 中的漂移项 $\mathbf{f}(\mathbf{x},t)$ 可以是 $\mathbf{x}$ 的任意函数，但一种常用且便于解析求解的选择是假设其为仿射形式（漂移是线性的）：$$\mathbf{f}(\mathbf{x},t)=f(t)\mathbf{x},\text{\hspace{1em}(4.1.4)}$$ 其中 $f(t)$ 是关于 $t$ 的标量函数，通常取非正值。 在该结构下，过程在任意时刻均保持高斯分布，且条件分布存在闭式解 —— 可通过求解对应的均值 - 方差常微分方程（ODE）得到（Särkkä and Solin, 2019，另见 4.3.3 节）。具体而言：$$p_t({\mathbf{x}}_t|{\mathbf{x}}_0)=\mathcal{N}\left({\mathbf{x}}_t;\mathbf{m}(t),P(t){\mathbf{I}}_D\right),$$其中
$$\mathbf{m}(t)=\exp \left({\int }_0^{t}f(u)\mathrm{d}u\right){\mathbf{x}}_0,P(t)={\int }_0^t\exp \left(2{\int }_s^{t}f(u)\mathrm{d}u\right)g^2(s)\mathrm{d}s$$初始条件为 $\mathbf{m}(0)={\mathbf{x}}_0,P(0)=0$。

均值 $\mathbf{m}(t)$： 初始值 ${\mathbf{x}}_0$ 被一个指数衰减因子缩放。如果 $f(u)＜0$，那么均值会随时间趋向于 $0$；
方差 $P(t){\mathbf{I}}_D$： $P(t)$ 积分表示：从 $0$ 到 $t$ 期间，每一步注入的噪声 $g(s)dw$ 会被后续的漂移过程放大或缩小，最后累积成总方差；

  该显式形式允许在给定 ${\mathbf{x}}_0$​ 时直接采样 ${\mathbf{x}}_t$​，无需对 SDE 进行数值积分，因此被称为 无模拟（simulation-free） 采样。NCSN 与 DDPM 均属于仿射漂移的范畴。
  在后续内容中，我们将针对任意漂移项 $\mathbf{f}(\mathbf{x},t)$ 构建通用理论，但在需要闭式分析时会回到仿射漂移的情形。

当 SDE 的漂移项是线性函数 $f(t)\mathbf{x}$ 时，扰动核 $p_t({\mathbf{x}}_t|{\mathbf{x}}_0)$ 是高斯的，且均值和方差有显式积分公式，从而可以直接采样 ${\mathbf{x}}_t$，无需模拟随机路径——这就是“无模拟采样”的核心。NCSN 和 DDPM 都符合这一特例。

边缘密度。 时间边缘密度 $p_t({\mathbf{x}}_t)$ 可通过对扰动核积分得到：
$$p_t({\mathbf{x}}_t):=\int p_t({\mathbf{x}}_t|{\mathbf{x}}_0)p_{\text{data}}({\mathbf{x}}_0)\mathrm{d}{\mathbf{x}}_0,\text{with }{p}_0=p_{\text{data}}.\text{\hspace{1em}(4.1.5)}$$  通过合理选择系数 $f(t)$ 与 $g(t)$，前向过程会逐步添加噪声，直至初始状态的影响被完全遗忘。当 $T$ 足够大时，条件分布 $p_T({\mathbf{x}}_T\mid {\mathbf{x}}_0)$ 不再依赖于 ${\mathbf{x}}_0$​，这是因为其均值满足：
$$\mathbf{m}(T)=\exp \left({\int }_0^{T}f(u)\mathrm{d}u\right){\mathbf{x}}_0⟶0,\text{as }T\to \infty ,$$前提是 $f(u)$ 为非正值，从而指数项衰减。与此同时，方差会增长并稳定到与预设先验分布匹配的水平。因此，边缘密度$$p_T({\mathbf{x}}_T)=\int p_T({\mathbf{x}}_T|{\mathbf{x}}_0)p_{\text{data}}({\mathbf{x}}_0)\mathrm{d}{\mathbf{x}}_0,$$其初始为数据样本上的复杂混合分布，最终收敛为一个简单的先验分布 $p_{prior}$（通常为高斯分布）。在该极限下，$$p_T({\mathbf{x}}_T)\approx p_{\text{prior}}({\mathbf{x}}_T)\text{and}{p}_T({\mathbf{x}}_T|{\mathbf{x}}_0)\approx p_{\text{prior}}({\mathbf{x}}_T),$$因此前向过程可将任意数据分布映射为一个易于处理的先验分布，为反向过程与生成任务提供了便捷的起点。

4.1.3 用于生成的反向时间随机过程（Reverse-Time Stochastic Process for Generation）

Figure 4.3 | 用于数据生成的反向时间随机过程可视化：该过程从 $t=T$ 时刻从简单的先验分布（$p_{\text{prior}}$）中抽取的样本开始（标记为 “$\times$”），并利用反向 SDE（reverse-SDE）向时间反演演化。最终轨迹在 $t=0$ 时刻终止，并共同形成目标双峰数据分布（$p_0=p_{\text{data}}$​）。背景热力图展示了概率密度如何从简单的高斯分布逐步变换为复杂的目标分布；（从右往左）

  从直观上看，从噪声中生成数据可通过 “逆转” 前向过程实现：从先验分布中采样得到一个随机点，再令其向时间反演演化，即可得到生成样本。对于确定性系统（即常微分方程 ODE），这一思路自然成立。由于不涉及随机性，时间逆转仅意味着沿着与前向过程相同的路径反方向追踪点的轨迹。相比之下，随机微分方程（SDE）在每一步都引入了随机性，意味着单个点可以沿多条合理的随机轨迹演化。因此，逆转此类过程的逻辑更为微妙。

  尽管单一的随机轨迹不可逆转，但一个极具价值的关键洞察是：这些轨迹上的分布可以被逆转。这一点由 Anderson (1982) 的基础性结论所形式化证明，该结论表明，式 $(\mathrm{4.1.3})$ 中前向过程的时间逆转过程 { x ˉ ( t ) } t ∈ [ 0 , T ] \{\bar{\mathbf{x}}(t)\}_{t\in[0,T]} {xˉ(t)}t∈[0,T]​ 自身同样由一个定义良好的 SDE 所支配。该反向时间过程从 $T$ 演化至 $0$，其动力学由下式给出：
$$\mathrm{d}\bar{\mathbf{x}}(t)=\left[\mathbf{f}(\bar{\mathbf{x}}(t),t)-g^2(t){\nabla }_{\mathbf{x}}\log p_t(\bar{\mathbf{x}}(t))\right]\mathrm{d}t+g(t)\mathrm{d}\bar{\mathbf{w}}(t),\bar{\mathbf{x}}(T)\sim p_{\text{prior}}\approx p_T\text{\hspace{1em}(4.1.6)}$$ 此处，$\bar{\mathbf{w}}(t)$ 表示反向时间下的标准维纳过程，其定义为：$\bar{\mathbf{w}}(t):=\mathbf{w}(T-t)-\mathbf{w}(T)$.

  为了建立对式 $(\mathrm{4.1.6})$ 的直观理解，我们在 $\mathrm{4.1.6}$ 节给出一个具体示例：采用高斯数据分布与线性 - 高斯动力学。该设定在解析上是可处理的：仅需基础微积分与线性代数即可直接推导出时间逆转公式，无需调用 Anderson (1982) 的完整通用理论。
  需要注意的是，随机性的存在（$g\ne 0$）引入了一个额外的校正项 $-g^2(t){\nabla }_{\mathbf{x}}\log p_t(\bar{\mathbf{x}}(t))$，该项用于描述扩散效应，并确保反向动力学能够正确复现前向 SDE 所诱导的边缘分布演化（详见 4.1.5 节）。
  

从概念上理解：反向过程为何有效？ 4.5.2 节通过将反向时间 SDE 与 DDPM 变分框架建立联系，给出了该方程的直观推导（内容为选读，但极具启发性）。在此，我们补充说明反向时间动力学如何从噪声中恢复结构化数据的直观逻辑。
  乍看之下，反向时间过程中存在布朗噪声似乎是一个悖论：既然前向扩散会将数据逐步扩散为越来越嘈杂的状态，那么逆转这一过程（尤其是通过 $\bar{\mathbf{w}}(t)$ 引入额外随机性），为何能生成集中在数据流形附近的干净、结构化样本？关键在于：反向时间 SDE 并不会注入任意随机性。扩散项 $g(t)\mathrm{d}\bar{\mathbf{w}}(t)$ 始终与得分驱动的漂移项 $-g^2(t){\nabla }_{\mathbf{x}}\log p_t(\bar{\mathbf{x}}(t))$ 相互耦合。这两项共同实现了平衡：得分项引导轨迹向高密度区域（即真实数据分布）移动，而噪声项则引入可控的随机性，允许轨迹在不破坏动力学的前提下进行探索。

  为了更清晰地说明这一点，我们回到式 (3.1.6) 中的朗之万直观解释。当 $f(t)\equiv 0$ 时，式 (4.1.6) 可写为：$$\mathrm{d}\bar{\mathbf{x}}(t)=-g^2(t){\nabla }_{\mathbf{x}}\log p_t(\bar{\mathbf{x}}(t))\mathrm{d}t+g(t)\mathrm{d}\bar{\mathbf{w}}(t).$$通过 $s:=T-t$（因此 $dt=-ds$）对时间进行前向重参数化，并在分布意义上重命名布朗运动，使得 $\mathrm{d}\bar{\mathbf{w}}(t)=-\mathrm{d}{\mathbf{w}}_s$​。令 ${\bar{\mathbf{x}}}_s:=\bar{\mathbf{x}}(T-s)$，${\pi }_s:=p_{T-s}$​，则可得：
$$\begin{array}{rl}\mathrm{d}{\bar{\mathbf{x}}}_s& =g^2(T-s)\nabla \log {\pi }_s({\bar{\mathbf{x}}}_s)\mathrm{d}s+g(T-s)\mathrm{d}{\mathbf{w}}_s\\ & =2\tau (s)\nabla \log {\pi }_s({\bar{\mathbf{x}}}_s)\mathrm{d}s+\sqrt{2\tau (s)}\mathrm{d}{\mathbf{w}}_s,\tau (s):=\frac{1}{2}{g}^2(T-s).\end{array}$$该式具有时变温度 $\tau (s)$ 的朗之万形式，其目标为随时间演化的密度 ${\pi }_s$​。根据 Tweedie 公式（式 (3.3.6)），得分方向 $\nabla \text{log}{\pi }_s$ 在每个时间切片上都指向条件干净信号，因此漂移项会持续 “拉回” 去噪后的结构。
  至关重要的是，$g(t)$ 在反向轨迹上是 退火 的：在初始阶段（$s\approx 0$，即 $t\approx T$），$g(T-s)$ 通常取值较大，因此注入的噪声更强，过程会进行大范围探索；随着 $s$ 增大，$g(T-s)$ 减小，随机项减弱，得分项占据主导，将样本拉向 ${\pi }_s$​ 的高密度区域；到 $s=T$（即 $t=0$）时，轨迹会集中在数据流形附近。

前期高噪声 → 广泛探索数据空间
后期低噪声 → 精细收敛到数据流形
得分函数始终提供正确的漂移方向，使得整个随机过程最终生成高质量的干净样本；

反向时间 SDE 的能力概述。 时间依赖的得分函数
$$\mathbf{s}(\mathbf{x},t):={\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})$$自然出现在式 $(\mathrm{4.1.6})$ 中，这一点极具启发性。一旦确定了前向系数 $f(t)$ 与 $g(t)$，得分函数便是反向动力学中唯一的未知项。这凸显了其核心地位：掌握得分函数后，反向过程便被完全确定，采样过程等价于用学习到的得分对式 (4.1.6) 进行数值积分。

  由于理论上的 “得分” 通常不存在闭式表达式，我们采用第 3 章的方法，训练一个神经网络 ${\mathbf{s}}_{\varphi }(\mathbf{x},t)$，通过得分匹配来近似该得分；详见 4.2.1 节。在式 $(\mathrm{4.1.6})$ 中用 ${\mathbf{s}}_{\varphi }(\mathbf{x},t)$ 替代 $\mathbf{s}(\mathbf{x},t)$，即可完全确定反向动力学。
  生成过程对应于从 $t=T$ 出发（初始样本 $x_T\sim p_{prior}$​），反向求解反向时间 SDE 直至 $t=0$。重要的是，Anderson (1982) 证明了前向与反向过程的边缘密度是一致的，这确保了当 $p_{prior}\approx p_T$​ 时，$t=0$ 时刻的样本近似服从 $p_{data}$​。我们将在 4.2.2 节进一步探讨这一点。

4.1.4 用于生成的确定性过程（概率流常微分方程）（Deterministic Process (Probability Flow ODE) for Generation）

尽管式 $(\mathrm{4.1.6})$ 中的 SDE 引入了随机性，且有可能提升生成样本的多样性，但仍存在一个问题：

问题 4.1.1
是否必须使用式 $(\mathrm{4.1.6})$ 中的 SDE 进行采样？

  受 Maoutsa et al. (2020) 的启发，Song et al. (2020c) 还提出了一个确定性过程 —— 常微分方程 (ODE)，其演化样本的边缘分布与前向 SDE 完全一致。该过程 { x ~ ( t ) } t ∈ [ 0 , T ] \{\tilde{\mathbf{x}}(t)\}_{t\in[0,T]} {x~(t)}t∈[0,T]​ 被称为概率流常微分方程（Probability Flow ODE, PF-ODE），其表达式为：
$$\frac{\mathrm{d}}{\mathrm{d}t}\tilde{\mathbf{x}}(t)=\mathbf{f}(\tilde{\mathbf{x}}(t),t)-\frac{1}{2}{g}^2(t){\nabla }_{\mathbf{x}}\log p_t(\tilde{\mathbf{x}}(t)).\text{\hspace{1em}(4.1.7)}$$  与 SDE 的情形类似，我们可以用学习到的近似得分替代真实得分，并从 $t=T$ 到 $t=0$ 对反向时间 ODE 进行积分以生成样本。具体而言，生成样本（即 PF-ODE 在 $t=0$ 时刻的解）的形式为：
$$\tilde{\mathbf{x}}(T)+{\int }_T^0\left[\mathbf{f}(\tilde{\mathbf{x}}(\tau ),\tau )-\frac{1}{2}{g}^2(\tau ){\nabla }_{\mathbf{x}}\log p_{\tau }(\tilde{\mathbf{x}}(\tau ))\right]\mathrm{d}\tau ,$$其中初始条件为 $\tilde{\mathbf{x}}(T)\sim p_{\text{prior}}$。由于该积分不存在闭式解析解，实际生成过程依赖于数值求解器（例如欧拉法，详见式 (4.2.4)）。

  与反向时间 SDE 相比，PF-ODE 具有两大关键优势：
  （1）ODE 可沿任一方向积分，即从 $t=0$ 到 $t=T$ 或从 $t=T$ 到 $t=0$，且只需在选定的端点处指定相应的初始条件，即可使用同一形式的方程表达式。这种双向积分的特性与 SDE 形成对比，SDE 通常仅允许正向时间积分；
  （2）它可依托大量为 ODE 开发的成熟、现成的数值求解器，应用范围广泛；

  需要强调的是，PF-ODE 并非简单地删去式 $(\mathrm{4.1.6})$ 中的扩散项得到；值得注意的是，其漂移项中的系数 $\frac{1}{2}$ 具有严谨的理论渊源。从宏观层面来看，式 $(\mathrm{4.1.7})$ 的构建思路是选取一个 ODE 的漂移项，使其演化过程与式 $(\mathrm{4.1.3})$ 中的正向 SDE 保持相同的边缘密度。确保这种边缘分布一致性的底层原理（即福克 - 普朗克方程（Øksendal, 2003））将在下一节详细阐述。

4.1.5 正向/反向时间随机微分方程与概率流常微分方程中的边缘分布匹配（Matching Marginal Distributions in Forward/Reverse-Time SDEs and PF-ODE）

  
Figure 4.4 | （二维）边缘密度 $p_t$​ 的时间演化：该正向 SDE 满足 $f\equiv 0$，且在区间 $[0,T]$ 上 $g(t)=\sqrt{2t}$。初始分布 $p_0=p_{\text{data}}$，为双峰高斯混合分布；最终分布 $p_T\approx p_{\text{prior}}:=\mathcal{N}(0,T^2\mathbf{I})$。$p_t$ 的演化遵循福克 - 普朗克方程；

福克 - 普朗克方程：确保边缘密度的一致性。 扩散模型中的一个核心概念是：不同的随机过程可以产生相同的边缘分布序列（我们将在本小节后续部分对此进行说明）。我们的目标是构造一个过程，通过在整个时间维度（尤其是在 $t=0$ 时刻）对齐边缘分布，将 $p_{prior}$​ 变换为 $p_{data}$​。只要该过程是可处理的、支持高效采样，其具体形式就是次要的。这自然引出了一个根本性问题：

问题 4.1.2
如何确保不同的过程产生完全相同的边缘分布？

  回到我们的设定：一旦正向 SDE 被确定，它就定义了从 $p_{data}$ 到 $p_{prior}$​ 的边缘密度演化。反向时间 SDE 与 PF-ODE 的构造，正是为了让它们的轨迹所产生的边缘分布，与正向过程的边缘分布完全匹配。这种对应关系的核心在于福克 - 普朗克方程，该方程描述了扩散过程下边缘密度的演化规律。下述定理（Anderson, 1982; Song et al., 2020c）为这一关联奠定了基础：

前向 SDE 的边缘分布 $p_t$ 既可以用一个确定性常微分方程（PF-ODE）复现，也可以用反向时间 SDE 生成，它们共享完全相同的概率密度路径，只是表达方式不同。

固定边缘分布下的多条件分布。 为理解 PF-ODE 如何将 $p_{data}$​ 沿时间前向传输（或等价地将 $p_{prior}$​ 反向传输），我们引入流映射 ${\Psi }_{s\to t}:{\mathbb{R}}^D\to {\mathbb{R}}^D$，其中 ${\Psi }_{s\to t}({\mathbf{x}}_s)$ 表示：以 $s$ 时刻的 ${\mathbf{x}}_s$​ 为初始状态，PF-ODE 在 $t$ 时刻的解，对任意 $s,t\in [0,T]$ 均成立。换言之，该映射将初始状态 ${\mathbf{x}}_s$​ 直接映射到其在 $t$ 时刻的状态：
$${\Psi }_{s\to t}({\mathbf{x}}_s):={\mathbf{x}}_s+{\int }_s^t\mathbf{v}({\mathbf{x}}_{\tau },\tau )\mathrm{d}\tau ,\text{\hspace{1em}(4.1.9)}$$其中速度场定义为：$$\mathbf{v}(\mathbf{x},\tau ):=\mathbf{f}(\mathbf{x},\tau )-\frac{1}{2}{g}^2(\tau ){\nabla }_{\mathbf{x}}\log p_{\tau }(\mathbf{x}).$$在此，该积分捕捉了沿 PF-ODE 轨迹 ${\mathbf{x}}_{\tau }$ 累积的净位移。在对速度场 $\mathbf{v}$ 的轻微光滑性假设下，流映射 ${\Psi }_{s\to t}:{\mathbb{R}}^D\to {\mathbb{R}}^D$ 是一个光滑的双射（一一映射）。

想象每个数据点是一辆自动驾驶汽车，路面标有每个位置、每个时刻的“最优速度” $v(x,t)$ 。汽车严格按这个速度行驶，那么从 $s$ 时刻的位置到 $t$ 时刻的位置，就是一条确定的轨迹。这个“从起点到终点”的对应关系就是流映射 ${\Psi }_{s\to t}$；

  对于任意 $t\in [0,T]$，前推密度（pushforward density）定义为：
$$p_t^{\text{fwd}}({\mathbf{x}}_t):=\int \delta \left({\mathbf{x}}_t-{\Psi }_{t\to 0}({\mathbf{x}}_0)\right)p_{\text{data}}({\mathbf{x}}_0)\mathrm{d}{\mathbf{x}}_0,$$

如果初始时刻 $s=0$，我们有一批汽车，它们的初始位置分布是真实数据分布 $p_{data}$。如果你知道每辆车从哪出发（初始位置分布），并且知道每辆车的确定性行驶路线（映射），那么你就能算出任意时刻路上车的分布——这就是前推密度。

记为 ${\Psi }_{t\to 0}\#p_{\text{data}}$​，其表示在映射 ${\Psi }_{t\to 0}$​ 作用下 $t$ 时刻的分布。定理 4.1.1 保证了 $p_t^{\text{fwd}}=p_t$ (确定性映射的前推分布 等于 随机扩散的边缘分布)，其中 $p_t$ 是前向 SDE 的边缘密度。这确立了确定性 PF-ODE 与随机核之间的等价关系：
$$p_t({\mathbf{x}}_t)=\int p_t({\mathbf{x}}_t|{\mathbf{x}}_0)p_{\text{data}}({\mathbf{x}}_0)\mathrm{d}{\mathbf{x}}_0=\int \delta \left({\mathbf{x}}_t-{\Psi }_{t\to 0}({\mathbf{x}}_0)\right)p_{\text{data}}({\mathbf{x}}_0)\mathrm{d}{\mathbf{x}}_0.$$

PF-ODE 的流映射 ${\Psi }_{s\to t}$ 将初始数据分布确定性前推到任意时刻，其前推分布恰好等于原随机 SDE 的边缘分布，因此我们可以用这个确定性的 ODE 替代随机过程进行生成或推断；

  这意味着存在无穷多组条件分布 $Q_t({\mathbf{x}}_t|{\mathbf{x}}_0)$，均可得到相同的边缘分布 $p_t({\mathbf{x}}_t)$，例如：
  随机型（无模拟）： $Q_t({\mathbf{x}}_t|{\mathbf{x}}_0)=p_t({\mathbf{x}}_t|{\mathbf{x}}_0)$
  确定型（需求解 ODE）： $Q_t({\mathbf{x}}_t|{\mathbf{x}}_0)=\delta \left({\mathbf{x}}_t-{\Psi }_{t\to 0}({\mathbf{x}}_0)\right)$
  混合型： $Q_t({\mathbf{x}}_t|{\mathbf{x}}_0)=\lambda p_t({\mathbf{x}}_t|{\mathbf{x}}_0)+(1-\lambda )\delta \left({\mathbf{x}}_t-{\Psi }_{t\to 0}({\mathbf{x}}_0)\right),\lambda \in [0,1]$

  $Q_t({\mathbf{x}}_t|{\mathbf{x}}_0)$ 的这种非唯一性源于：边缘约束无法唯一确定条件分布。这一概念将在 5.2.2 节与 9.2.3 节中再次出现。特别地，存在一整族反向时间 SDE，它们均与同一个边缘分布 $p_t$​ 相容。

观测 4.1.1：匹配预设边缘密度
  多个过程均可生成相同的边缘密度序列；真正关键的是满足福克 - 普朗克方程。这一基础性洞见为我们设计生成过程提供了极大的灵活性，可实现从 $p_{prior}$​ 到 $p_{\text{data}}$（或反之）的分布转换。

  福克 - 普朗克方程是扩散模型的核心，其理论根基是概率密度的变量代换公式（详见附录 B 的系统推导）。这一原理绝非次要的技术细节，而是贯穿全书理论构建的核心思想，在 5.2 节中体现得尤为突出。

4.1.6 一个可计算的示例：高斯动力学的演化（A Computable Example: Evolutions of Gaussian Dynamics）

  当 $p_{data}$ 服从正态分布（或高斯混合分布）时，得分函数存在闭式表达式。这使其成为理解扩散过程的理想场景：我们仅需基础微积分，即可显式推导逆时随机微分方程（SDE）与概率流常微分方程（PF-ODE），无需借助高等数学工具。在本小节中，我们将展示这些方程在这类易求解情形下的表现形式。

高斯分布下逆时 SDE 的精确计算。 当 $p_{data}$ 服从高斯分布时，式 $(\mathrm{4.1.6})$ 中的公式可直接推导，无需依赖 Anderson (1982) 的通用理论与证明。为阐明核心思想，我们以一维情形为例进行说明，向高维的推广遵循完全相同的逻辑。

  从正向 SDE 出发：
$$\mathrm{d}x(t)=f(t)x(t)\mathrm{d}t+g(t)\mathrm{d}{w}_t,$$取步长为 $\Delta t>0$ 的一个小欧拉步：
$$x_{t+\Delta t}=a{x}_t+rϵ,$$其中 $a:=1+f(t)\Delta t$，$r:=g(t)\sqrt{\Delta t}$，且 $ϵ\sim \mathcal{N}(0,1)$。等价地，正向单步转移核服从高斯分布：
$$x_{t+\Delta t}|x_t\sim \mathcal{N}(a{x}_t,r^2).$$由于假设 $p_{\text{data}}$ 服从高斯分布，$t$ 时刻的当前边缘分布也服从高斯分布，对于某些标量 $m_t$​ 和 $s_t$ 而言，其形式如下：
$$x_t\sim \mathcal{N}(m_t,s_t^2),$$因此，条件分布的求解等价于将两个高斯分布相乘并进行归一化处理。这使得相关代数运算保持基础简便。

  根据贝叶斯定理，在不计常数的情况下，条件密度为先验分布与转移核的乘积：
$$p(x_t\mid x_{t+\Delta t})\propto p(x_{t+\Delta t}\mid x_t)p_t({\mathbf{x}}_t)\propto \exp \left(-\frac{(x_t-m_t{)}^2}{2s_t^2}\right)\exp \left(-\frac{(x_{t+\Delta t}-a{x}_t{)}^2}{2r^2}\right).$$该指数项是关于 $x_t$ 的二次式。展开两个平方项并合并同类项后，可明确得到关键的系数表达式：
$$-2\log p(x_t|x_{t+\Delta t})=A{x}_t^2-2B{x}_t+\text{const},$$其中，
$$A:=\frac{1}{s_t^2}+\frac{a^2}{r^2},B:=\frac{m_t}{s_t^2}+\frac{a{x}_{t+\Delta t}}{r^2}$$其中 $A$ 是精度之和（先验精度与经 $a$ 变换后的转移核精度之和），$B$ 是对应的精度加权目标和。基于这些系数，通过配方法可直接得到后验分布：
$$A{x}_t^2-2B{x}_t=A{\left(x_t-\frac{B}{A}\right)}^2-\frac{B^2}{A},$$因此条件分布为高斯分布，其方差为 $1/A$，均值为 $B/A$：
$$\mathrm{Var}(x_t|x_{t+\Delta t})=\frac{1}{\frac{1}{s_t^2}+\frac{a^2}{r^2}},\mathbb{E}[x_t|x_{t+\Delta t}]=\frac{\frac{m_t}{s_t^2}+\frac{a{x}_{t+\Delta t}}{r^2}}{\frac{1}{s_t^2}+\frac{a^2}{r^2}}.$$这些闭式表达式已可描述任意小 $\Delta t$ 下的逆向转移。为推导出逆时随机微分方程（SDE），我们接下来对其在小 $\Delta t$ 下进行展开。

  令 $a=1+f(t)\Delta t$ 且 $r^2=g^2(t)\Delta t$。当 $\Delta t\to 0$ 时，项 $\frac{a^2}{r^2}\sim \frac{1}{g^2(t)\Delta t}$​ 对精度起主导作用，因此方差变为：
$$\mathrm{Var}(x_t|x_{t+\Delta t})={\left(\frac{1}{s_t^2}+\frac{a^2}{r^2}\right)}^{-1}=g^2(t)\Delta t+\mathcal{O}(\Delta t^2),$$这表明逆向步与正向步具有相同的扩散尺度 $g(t)$。对于均值，将比率 $B/A$ 展开至一阶项：
$$\mathbb{E}[x_t|x_{t+\Delta t}]=x_{t+\Delta t}+\Delta t\left[-\left(f(t)+\frac{g^2(t)}{s_t^2}\right)x_{t+\Delta t}+\frac{g^2(t)}{s_t^2}{m}_t\right]+\mathcal{O}(\Delta t^2).$$  将均值与方差结合，可得到单步逆向转移核：
$$x_t|x_{t+\Delta t}\sim \mathcal{N}\left(x_{t+\Delta t}+\Delta t\left[-\left(f+\frac{g^2}{s_t^2}\right)x_{t+\Delta t}+\frac{g^2}{s_t^2}{m}_t\right],g^2\Delta t\right)+\mathcal{O}(\Delta t^2).$$该形式可识别为从 $t+\Delta t$ 向 $t$ 反向运行的欧拉 - 丸山更新：
$$x_t-x_{t+\Delta t}=\Delta t\left[-\left(f+\frac{g^2}{s_t^2}\right)x_{t+\Delta t}+\frac{g^2}{s_t^2}{m}_t\right]+g\sqrt{\Delta t}ϵ+\mathcal{O}(\Delta t^2).$$令 $\Delta t\to 0$，可得原时间尺度下的随机微分方程（路径沿时间递减）：
$$\mathrm{d}x(t)=\left[-\left(f(t)+\frac{g^2(t)}{s_t^2}\right)x(t)+\frac{g^2(t)}{s_t^2}{m}_t\right]\mathrm{d}t+g(t)\mathrm{d}{\bar{w}}_t.$$该漂移项可通过得分函数表示。对于高斯边缘分布 $p_t=\mathcal{N}(m_t,s_t^2)$，有：
$${\partial }_x\log p_t(x)=-\frac{x-m_t}{s_t^2}⟹-\left(f+\frac{g^2}{s_t^2}\right)x+\frac{g^2}{s_t^2}{m}_t=-fx+g^2{\partial }_x\log p_t(x).$$为给出标准的时间正向、过程反向参数化形式，定义反向过程 $\bar{x}(t):=x(T-t)$（即沿时间 $t$ 正向演化）。经时间反转变换后，漂移项化为：
$$\mathrm{d}\bar{x}(t)=\left[f(t)\bar{x}(t)-g^2(t){\partial }_x\log p_t(\bar{x}(t))\right]\mathrm{d}t+g(t)\mathrm{d}{\bar{w}}_t,$$其中 $\bar{x}(T)\sim p_{\text{prior}}\approx p_T$，此即为标准的时间反向随机微分方程。在向量形式下，将一维导数替换为梯度 ${\nabla }_{\mathbf{x}}\log p_t$，即可与通式 (4.1.6) 完全对应。

  
高斯情形下 PF‑ODE 的精确求解。 当假设数据分布服从高斯分布时，可直接推导 PF‑ODE 的表达式，从而规避福克‑普朗克方程等复杂理论工具。最终可验证，PF‑ODE 的边缘密度与正向随机微分方程、时间反向随机微分方程的边缘密度完全一致，由此可对 4.1.5 节介绍的福克‑普朗克理论进行构造性验证。

  设 $t$ 时刻状态满足 $x_t\sim \mathcal{N}(m_t,s_t^2)$。步长为 $\Delta t$ 的微小确定性演化可表示为光滑映射：
$$x_{t+\Delta t}={\Phi }_{t,\Delta t}(x_t)=x_t+\Delta t{v}_t(x_t)+\mathcal{O}(\Delta t^2),$$该式本质为关于 $\Delta t$ 的一阶泰勒展开。我们的目标是确定 $v_t$ 需满足的形式，使得只要输入服从高斯分布，输出也保持高斯分布。
  为此，将 $v_t$ 在当前均值 $m_t$ 处进行泰勒展开：
$$v_t(x)=v_t(m_t)+v_t^{\prime }(m_t)(x-m_t)+\frac{1}{2}{v}_t^{\prime \prime }(m_t)(x-m_t{)}^2+\cdots .$$令 $y:=x_t-m_t$ ，则 $y\sim \mathcal{N}(0,s_t^2)$ 。接下来，在 $\Delta t$ 的一阶近似下，通过减去输出的均值对其做中心化处理（输出减去它的均值后的波动量 $z$）：
$$z:=x_{t+\Delta t}-\mathbb{E}\left[x_{t+\Delta t}\right]=y+\Delta t\left(v_t^{\prime }(m_t)y+\frac{1}{2}{v}_t^{\prime \prime }(m_t)\left(y^2-s_t^2\right)\right)+\mathcal{O}(\Delta t^2).$$此处需注意，高斯分布的偏度为零，即其三阶中心矩为 0。因此，在一阶精度下计算 $\mathbb{E}[z^3]$，并利用 $\mathbb{E}[y]=0$、$\mathbb{E}[y^2]=s_t^2$、$\mathbb{E}[y^3]=0$、$\mathbb{E}[y^4]=3s_t^4$，可得：
$$\mathbb{E}[z^3]=3\Delta t\cdot \frac{1}{2}{v}_t^{\prime \prime }(m_t)(\mathbb{E}[y^4]-s_t^2\mathbb{E}[y^2])+\mathcal{O}(\Delta t^2)=3\Delta t{v}_t^{\prime \prime }(m_t)s_t^4+\mathcal{O}(\Delta t^2).$$为使任意微小步长 $\Delta t$ 下输出始终服从高斯分布，该量在 $\Delta t$ 阶上必须为零，由此推得 $v_t^{\prime \prime }(m_t)=0$。对更高阶导数重复上述推导，可排除高阶幂次项。综上，$v_t$ 必须为线性函数叠加常数偏移项（所有二阶以上的导数必须为零）：
$$v_t(x)=a_{t}x+b_t.$$将其代回演化步长表达式，可得
$$x_{t+\Delta t}=(1+{\alpha }_t\Delta t)x_t+{\beta }_t\Delta t+\mathcal{O}(\Delta t^2),{\alpha }_t:=a_t,{\beta }_t:=b_t.$$

上述表明：如果一开始数据服从高斯分布，并且我们希望经过一个确定性（ODE）演化后，分布仍然是高斯分布，那么这个演化过程的速度场 $v_t(x)$ 必须是关于 $x$ 的线性函数（比如 $v_t(x)=a_{t}x+b_t$）。反过来，如果不是线性，高斯性就会被破坏。
  
要保持高斯性，速度场必须线性；否则高阶项会产生偏度，破坏高斯形状。

  现将服从 $x_t\sim \mathcal{N}(m_t,s_t^2)$ 的随机变量经该映射变换，并在一阶精度下推导其均值与方差：
$$\mathbb{E}[x_{t+\Delta t}]=m_t+\Delta t({\alpha }_t{m}_t+{\beta }_t)+\mathcal{O}(\Delta t^2),$$ $$\mathrm{Var}(x_{t+\Delta t})=s_t^2+\Delta t(2{\alpha }_t{s}_t^2)+\mathcal{O}(\Delta t^2).$$另一方面，正向随机微分方程 $\mathrm{d}x=f(t)x\mathrm{d}t+g(t)\mathrm{d}{w}_t$ 的基础矩公式如下（见式 (4.3.3)）：
$$m_t^{\prime }=f(t)m_t,(s_t^2{)}^{\prime }=2f(t)s_t^2+g^2(t).$$对比 $\Delta t$ 的对应系数，可得
$${\alpha }_t=f(t)+\frac{g^2(t)}{2s_t^2},{\beta }_t=-\frac{g^2(t)}{2s_t^2}{m}_t.$$代入后，该演化步长可写为
$$x_{t+\Delta t}=x_t+\Delta t\left[\left(f(t)+\frac{g^2(t)}{2s_t^2}\right)x_t-\frac{g^2(t)}{2s_t^2}{m}_t\right]+\mathcal{O}(\Delta t^2).$$

对于高斯分布 $p_t=\mathcal{N}(m_t,s_t^2)$，其得分函数满足 ${\partial }_x\log p_t(x)=-(x-m_t)/s_t^2$，据此可将上式括号内部分改写为 $f(t)x_t-\frac{1}{2}{g}^2(t){\partial }_x\log p_t(x_t)$。由此可得：
$$x_{t+\Delta t}=x_t+\Delta t\left[f(t)x_t-\frac{1}{2}{g}^2(t){\partial }_x\log p_t(x_t)\right]+\mathcal{O}(\Delta t^2).$$最后，将上式两边除以 $\Delta t$ 并取 $\Delta t\to 0$，即可推得 PF‑ODE：
$$x^{\prime }(t)=f(t)x(t)-\frac{1}{2}{g}^2(t){\partial }_x\log p_t(x(t)).$$  为说明该常微分方程与正向随机微分方程（及时间反向随机微分方程）具有相同的边缘分布，注意到上述漂移项为线性项叠加常数偏移项。因此 $x(t)$ 与 $x(0)$ 呈仿射关系，而仿射变换可将高斯分布映射为高斯分布。此外，由前文的系数匹配可知，该常微分方程演化下的均值 $m_t$ 与方差 $s_t^2$，满足与正向随机微分方程完全一致的两个标量常微分方程，且初值相同。因此，两种演化过程在任意时刻 $t$ 的分布 $p_t=\mathcal{N}(m_t,s_t^2)$ 均完全一致。

---

4.2 得分随机微分方程：训练与采样（Score SDE: Its Training and Sampling）

4.2.1 训练（Training）

  延续第 3 章的核心思路，采用时间条件神经网络 ${\mathbf{s}}_{\varphi }={\mathbf{s}}_{\varphi }(\mathbf{x},t)$，在全部时间域 $t\in [0,T]$ 内近似真实得分函数 ${\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})$，通过最小化式 (3.2.1) 所示的得分匹配目标函数实现：
$${\mathcal{L}}_{\text{SM}}(\varphi ;\omega (\cdot )):=\frac{1}{2}{\mathbb{E}}_{t\sim p_{\text{time}}}{\mathbb{E}}_{{\mathbf{x}}_t\sim p_t}\left[\omega (t){\Vert {\mathbf{s}}_{\varphi }({\mathbf{x}}_t,t)-{\nabla }_{\mathbf{x}}\log p_t({\mathbf{x}}_t)\Vert }_2^2\right]$$式中 $p_{\text{time}}$ 为时间分布（例如 $[0,T]$ 上的均匀分布），$\omega (\cdot )$ 为时间加权函数。

  为规避难以求解的真实得分函数 ${\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})$，本文采用式 (3.3.2) 中的去噪得分匹配（DSM）损失函数。对于数据点 ${\mathbf{x}}_0$，该方法可通过式 (D.2.4) 得到解析可解的条件得分函数 ${\nabla }_{{\mathbf{x}}_t}\log p_t({\mathbf{x}}_t|{\mathbf{x}}_0)$，4.3 节将给出具体算例。本文具体采用如下损失函数：
$${\mathcal{L}}_{\text{DSM}}(\varphi ;\omega (\cdot )):=\frac{1}{2}{\mathbb{E}}_t{\mathbb{E}}_{{\mathbf{x}}_0}{\mathbb{E}}_{p_t({\mathbf{x}}_t|{\mathbf{x}}_0)}\left[\omega (t){\Vert {\mathbf{s}}_{\varphi }({\mathbf{x}}_t,t)-{\nabla }_{{\mathbf{x}}_t}\log p_t({\mathbf{x}}_t|{\mathbf{x}}_0)\Vert }_2^2\right]\text{\hspace{1em}(4.2.1)}$$

  其中 ${\mathbf{x}}_0\sim p_{\text{data}}$。式 (4.2.1) 可视为式 (3.4.1) 的连续时间形式，即将离散情形中的求和运算替换为积分运算。
  与定理 3.3.1 的结论类似，式 (4.2.1) 的极小值解具有唯一性，具体形式如下：

命题 4.2.1：去噪得分匹配（DSM）的极小值解

   极小值解 ${\mathbf{s}}^{\ast }$ 满足
$${\mathbf{s}}^{\ast }({\mathbf{x}}_t,t)={\mathbb{E}}_{{\mathbf{x}}_0\sim p({\mathbf{x}}_0|{\mathbf{x}}_t)}[{\nabla }_{{\mathbf{x}}_t}\log p_t({\mathbf{x}}_t|{\mathbf{x}}_0)]={\nabla }_{{\mathbf{x}}_t}\log p_t({\mathbf{x}}_t)\text{\hspace{1em}(4.2.2)}$$  去噪得分匹配目标函数可看作最小二乘误差问题。具体而言，对每个时刻 $t$，最优得分函数为条件对数密度梯度的条件期望；由贝叶斯定理可知，该期望等价于对数边缘密度的梯度。详细证明见附录 D.2.6。

4.2.2 采样和推理（Sampling and Inference）

  学习阶段结束后
$${\mathbf{s}}_{\varphi \times }:={\mathbf{s}}_{\varphi \times }(\mathbf{x},t)\approx {\nabla }_{\mathbf{x}}\log p_t(\mathbf{x}),$$我们使用学习得到的代理函数 ${\mathbf{s}}_{\varphi \times }(\mathbf{x},t)$，替换时间反向随机微分方程（式 (4.1.6)）与 PF‑ODE（式 (4.1.7)）中难以直接求解的真实得分函数 ${\nabla }_{\mathbf{x}}\log p_t(\mathbf{x})$。该替换可通过随机微分方程或常微分方程实现可求解的推理。为表述清晰，将二者对应的过程分别记作 ${\mathbf{x}}_{\varphi \times }^{\text{SDE}}(t)$ 与 ${\mathbf{x}}_{\varphi \times }^{\text{ODE}}(t)$，后续章节中将不再做此区分。
  
Figure 4.5 | （二维）Score SDE 的采样示意图：本图沿用与图 4.4 一致的正向随机微分方程设定，分别通过求解时间反向 SDE（蓝色，对应式 (4.2.4)）与 PF‑ODE（红色，对应式 (4.2.6)）完成采样。采样从先验分布 $p_{\text{prior}}$ 中的随机点 ${\mathbf{x}}_T$（深色 “×” 标记）出发，两条轨迹均在 $t=0$ 时刻收敛至数据分布 $p_{\text{data}}$ 的支撑域附近。

经验反向时间 SDE。 将训练后的得分模型 ${\mathbf{s}}_{\varphi \times }$ 代入式 (4.1.6) 以替代真实得分函数，即可得到用于生成任务的参数化反向时间随机微分方程：
$$\mathrm{d}{\mathbf{x}}_{\varphi \times }^{\text{SDE}}(t)=\left[\mathbf{f}\left({\mathbf{x}}_{\varphi \times }^{\text{SDE}}(t),t\right)-g^2(t){\mathbf{s}}_{\varphi \times }\left({\mathbf{x}}_{\varphi \times }^{\text{SDE}}(t),t\right)\right]\mathrm{d}t+g(t)\mathrm{d}\bar{\mathbf{w}}(t).\text{\hspace{1em}(4.2.3)}$$  生成样本时，首先从先验分布 $p_{\text{prior}}$ 中采样初值 ${\mathbf{x}}_T$，随后在时间上从 $t=T$ 到 $t=0$ 数值求解式 (4.2.3)。常用的标准数值求解器为欧拉‑丸山法，其离散更新规则为：
$${\mathbf{x}}_{t-\Delta t}\leftarrow {\mathbf{x}}_t-\left[\mathbf{f}({\mathbf{x}}_t,t)-g^2(t){\mathbf{s}}_{\varphi \times }({\mathbf{x}}_t,t)\right]\Delta t+g(t)\sqrt{\Delta t}\cdot ϵ,\text{\hspace{1em}(4.2.4)}$$式中 $\mathbf{ϵ}\sim \mathcal{N}(0,\mathbf{I})$，$\Delta t>0$ 为步长。

  迭代执行该更新规则，即可得到最终样本 ${\mathbf{x}}_{\varphi \times }^{\text{SDE}}(0)$。若得分模型精度足够，生成样本的分布（记为 $p_{\varphi \times }^{\text{SDE}}(\cdot ;0)$）可高度逼近真实数据分布：
$$p_{\varphi \times }^{\text{SDE}}(\cdot ;0)\approx p_{\text{data}}(\cdot ).$$事实上，式 (2.2.14) 给出的 DDPM 采样方案，正是该欧拉‑丸山离散形式在选取特定函数 $\mathbf{f}$ 与 $g$ 时的特例（详见 4.3 节）。

经验 PF‑ODE。 PF‑ODE 构建了连接先验分布 $p_{\text{prior}}$ 与数据分布 $p_{\text{data}}$ 的连续流，可实现采样、编码以及精确似然估计。下一节将对上述各项操作展开详细说明。

  I. 基于 PF‑ODE 的采样。 将式 (4.1.7) 中的真实得分函数替换为 ${\mathbf{s}}_{\varphi \times }$，可得经验 PF‑ODE：
$$\frac{\mathrm{d}}{\mathrm{d}t}{\mathbf{x}}_{\varphi \times }^{\text{ODE}}(t)=\mathbf{f}({\mathbf{x}}_{\varphi \times }^{\text{ODE}}(t),t)-\frac{1}{2}{g}^2(t){\mathbf{s}}_{\varphi \times }({\mathbf{x}}_{\varphi \times }^{\text{ODE}}(t),t).\text{\hspace{1em}(4.2.5)}$$生成样本时，首先从先验分布 $p_{\text{prior}}$ 中采样初始样本 ${\mathbf{x}}_T$，随后在时间维度上从 $t=T$ 到 $t=0$ 对式 (4.2.5) 的 PF‑ODE 进行数值求解。该过程等价于对下述积分做近似计算：
$${\mathbf{x}}_{\varphi \times }^{\text{ODE}}(0)={\mathbf{x}}_T+{\int }_T^0\left[\mathbf{f}({\mathbf{x}}_{\varphi \times }^{\text{ODE}}(\tau ),\tau )-\frac{1}{2}{g}^2(\tau ){\mathbf{s}}_{\varphi \times }({\mathbf{x}}_{\varphi \times }^{\text{ODE}}(\tau ),\tau )\right]\mathrm{d}\tau .$$求解该积分可得到最终样本 ${\mathbf{x}}_{\varphi \times }^{\text{ODE}}(0)$。经该确定性过程生成的样本分布记为 $p_{\varphi \times }^{\text{ODE}}(\cdot ;0)$，可近似拟合数据分布，即 $p_{\varphi \times }^{\text{ODE}}(\cdot ;0)\approx p_{\text{data}}$。
  设 $\Delta t>0$ 为离散步长，欧拉法是常用的数值积分方法，其近似关系为：
$$\mathbf{f}({\mathbf{x}}_{\tau },\tau )-\frac{1}{2}{g}^2(\tau ){\mathbf{s}}_{\varphi \times }({\mathbf{x}}_{\tau },\tau )\approx \mathbf{f}({\mathbf{x}}_t,t)-\frac{1}{2}{g}^2(t){\mathbf{s}}_{\varphi \times }({\mathbf{x}}_t,t),\tau \in [t-\Delta t,t],$$由此可得如下更新规则：
$${\mathbf{x}}_{t-\Delta t}\leftarrow {\mathbf{x}}_t-\left[\mathbf{f}({\mathbf{x}}_t,t)-\frac{1}{2}{g}^2(t){\mathbf{s}}_{\varphi \times }({\mathbf{x}}_t,t)\right]\Delta t\text{\hspace{1em}(4.2.6)}$$

基于上述关联，我们可提炼出生成过程的核心结论：

核心结论 4.2.1：生成过程等价于求解 ODE / SDE
扩散模型的采样过程，本质等价于求解对应的概率流常微分方程或反向时间随机微分方程。

  这一等价关系清晰解释了问题 3.5.1 中提及的扩散模型采样速度缓慢的原因。生成过程计算开销较大，根源在于此类微分方程的数值求解器本质为迭代算法，通常需要大量迭代步长才能精确拟合解的轨迹。不过，PF‑ODE 形式也具备优势：我们可借鉴大量关于加速型数值求解器的现有研究成果。第 9 章将重点探究基于这些技术实现扩散模型采样加速的方法。

  II. 基于 PF‑ODE 的逆变换。 前文已述，与随机微分方程不同，式 (4.2.5) 可沿时间正向（从 $0$ 至 $T$）、反向（从 $T$ 至 $0$）双向求解。正向求解时，该常微分方程流可将数据映射为全部时刻 $t\in [0,T]$ 下的含噪隐表征，起到编码器的作用。该机制可支撑可控生成领域的诸多应用，例如图像转换、图像编辑等。

  III. 基于 PF‑ODE 的精确对数似然计算。 将式 (4.2.5) 的动力学过程重新解读为一种神经常微分方程（Neural ODE）变体（见 5.1.2 节）：该变体仅对得分函数做参数化，而非完整速度场。借助变量替换公式，该 PF‑ODE 形式可实现精确对数似然计算。

  将式 (5.1.9) 中的恒等式应用于式 (4.2.5) 的 PF‑ODE，定义速度场为
$${\mathbf{v}}_{\varphi \times }(\mathbf{x},t):=\mathbf{f}(\mathbf{x},t)-\frac{1}{2}{g}^2(t){\mathbf{s}}_{\varphi \times }(\mathbf{x},t),$$其中 ${\mathbf{s}}_{\varphi \times }$ 为学习得到的得分函数。沿 PF‑ODE 轨迹 { x ϕ × ODE ( t ) } t ∈ [ 0 , T ] \{\mathbf{x}_{\phi\times}^{\text{ODE}}(t)\}_{t\in[0,T]} {xϕ×ODE​(t)}t∈[0,T]​，对数密度 $p_{\varphi \times }^{\text{ODE}}(\cdot ;t)$ 的时间演化满足
$$\frac{\mathrm{d}}{\mathrm{d}t}\log p_{\varphi \times }^{\text{ODE}}({\mathbf{x}}_{\varphi \times }^{\text{ODE}}(t),t)=-\nabla \cdot {\mathbf{v}}_{\varphi \times }({\mathbf{x}}_{\varphi \times }^{\text{ODE}}(t),t),$$ 式中 $\nabla \cdot \mathbf{v}$ 表示关于 $\mathbf{x}$ 的散度。为计算数据点 ${\mathbf{x}}_0\sim p_{\text{data}}$ 的似然，从 $t=0$ 到 $t=T$ 对下述增广常微分方程系统积分：
$$\frac{\mathrm{d}}{\mathrm{d}t}\left[\begin{array}{c}\mathbf{x}(t)\\ \delta (t)\end{array}\right]=\left[\begin{array}{c}{\mathbf{v}}_{\varphi \times }(\mathbf{x}(t),t)\\ \nabla \cdot {\mathbf{v}}_{\varphi \times }(\mathbf{x}(t),t)\end{array}\right],\left[\begin{array}{c}\mathbf{x}(0)\\ \delta (0)\end{array}\right]=\left[\begin{array}{c}{\mathbf{x}}_0\\ 0\end{array}\right],\text{\hspace{1em}(4.2.7)}$$其中 $\delta (t)$ 用于累积随时间变化的对数密度。求解该系统至时刻 $t=T$，可得终端状态：$\left[\begin{array}{c}\mathbf{x}(T)\\ \delta (T)\end{array}\right],$ 由此可计算模型下原始样本 ${\mathbf{x}}_0$ 的对数似然：
$$\log p_{\varphi \times }^{\text{ODE}}({\mathbf{x}}_0;0)=\log p_{\text{prior}}(\mathbf{x}(T))+\delta (T),$$式中 $p_{\text{prior}}(\mathbf{x}(T))$ 为在 $\mathbf{x}(T)$ 处计算得到的解析形式先验密度。

---

  下一章：【扩散模型原理】（四）Diffusion Models Today: Score SDE Framework（2）