从入门到入土 2：Flow Matching——如何训练一个生成模型

在上一篇文章中，我们构建了流模型和扩散模型的基础平台：将生成问题转化为了一个微分方程模拟问题。但最核心的谜题尚未解开——如何训练那个驱动一切的核心神经网络？答案就是 Flow Matching。

在上一篇文章中，我们构建了流模型和扩散模型的基本框架：从简单的噪声分布 $p_{\text{init}}$（比如高斯噪声）出发，通过模拟一个由神经网络学得的 $u_t^{\theta }$ 定义的微分方程，最终到达复杂的数据分布 $p_{\text{data}}$。

然而，我们只明确了模型“该做什么”（模拟 ODE/SDE），却未解决“该怎么做”的问题，即如何优化参数 $\theta$。换句话说，我们应如何调整 $u_t^{\theta }$，才能确保其能将噪声转化为符合目标分布的样本？

在众多训练方法中，Flow Matching（流匹配） 因其简洁性与高效性脱颖而出，成为当前主流大规模图像和视频生成模型（如 Stable Diffusion 3）的核心训练范式。本文将拆解这一算法，阐述其如何实现“无中生有”的生成能力。

---

1. 核心问题：明确模型的学习目标

我们首先重新审视目标。对于一个已定义的流模型：

$$\frac{d}{dt}{X}_t=u_t^{\theta }(X_t),X_0\sim p_{\text{init}}$$

我们期望模拟该 ODE 至 $t=1$ 时，$X_1$ 的分布能够匹配数据分布 $p_{\text{data}}$。那么，理想的、目标性的向量场 $u_t^{\text{target}}$ 应具备何种性质？

它应能够构建一条从噪声分布 $p_{\text{init}}$ 到数据分布 $p_{\text{data}}$ 的平滑、连续的概率路径。该路径在数学上被称为概率路径（Probability Path） $p_t$，满足 $p_0=p_{\text{init}}$ 和 $p_1=p_{\text{data}}$。

问题可转化为：
我们期望学习一个神经网络 $u_t^{\theta }$，使其尽可能逼近这条目标概率路径所对应的速度场 $u_t^{\text{target}}$。

---

2. 构建概率路径：从条件路径到边际路径

直接定义从复杂的 $p_{\text{data}}$ 到简单的 $p_{\text{init}}$ 的概率路径是困难的。Flow Matching 的核心思想在于：先为数据集中的每一个样本 $z$ 定义一条从噪声到该特定数据点的条件概率路径，再通过边际化操作将这些路径整合起来。

这可以理解为分治的思想，很自然，而整合的过程相当于一个全概率公式。

2.1 条件概率路径：为每个数据点定制路径

对于数据集中的任意一个数据点 $z$，我们可以轻松定义一条连接噪声与该点的路径。一个常用且有效的选择是高斯条件概率路径：

$$p_t(x|z)=\mathcal{N}({\alpha }_{t}z,{\beta }_t^2{I}_d)$$

该公式表示：在时间 $t$，路径上的点 $x$ 服从一个均值为 ${\alpha }_{t}z$、协方差为 ${\beta }_t^2{I}_d$ 的高斯分布。

• 当 $t=0$ 时，令 ${\alpha }_0=0,{\beta }_0=1$，则 $p_0(\cdot |z)=\mathcal{N}(0,I_d)$，即标准高斯噪声。
• 当 $t=1$ 时，令 ${\alpha }_1=1,{\beta }_1=0$，则 $p_1(\cdot |z)=\mathcal{N}(z,0)$，即坍缩到点 $z$ 的狄拉克分布 ${\delta }_z$，表示确定性地得到 $z$。

这里的 ${\alpha }_t$ 和 ${\beta }_t$ 称为噪声调度器（Noise Scheduler），控制从噪声到数据的插值方式。一个简单的线性调度是 ${\alpha }_t=t,{\beta }_t=1-t$。此时，路径上的点可表示为 $x=tz+(1-t)ϵ$，其中 $ϵ\sim \mathcal{N}(0,I_d)$。

为什么称为“条件”？因为该路径以特定的数据点 $z$ 为条件。不同的 $z$ 对应不同的、从噪声到该点的路径。

2.2 边际概率路径：整合所有路径

为每个数据点 $z$ 定义了条件路径 $p_t(x|z)$ 后，若我们从数据分布中随机抽取 $z$，再从 $p_t(x|z)$ 中采样 $x$，则采样点 $x$ 的分布即为边际概率路径 $p_t(x)$：

$$p_t(x)=\int p_t(x|z)p_{\text{data}}(z)dz$$

这相当于将每个数据点对应的条件路径进行加权平均，形成一条覆盖整个数据分布的“总路径”。可以验证，该“总路径”的起点是噪声（$p_0=p_{\text{init}}$），终点是数据分布（$p_1=p_{\text{data}}$）。

---

3. 学习目标速度场：从已知中推断未知

至此，我们已构建了目标概率路径 $p_t(x|z)$ 和 $p_t(x)$，但仍未直接获得对应于边际概率路径 $p_t(x)$ 的目标速度场 $u_t^{\text{target}}(x)$。

然而，关键在于：对于每个简单的条件概率路径 $p_t(x|z)$，其对应的速度场 $u_t^{\text{target}}(x|z)$ 可通过解析形式获得，无需依赖微分方程模拟。
特别地，对于高斯路径，该条件速度场为：

$$u_t^{\text{target}}(x|z)=\left({\dot{\alpha }}_t-\frac{{\dot{\beta }}_t}{{\beta }_t}{\alpha }_t\right)z+\frac{{\dot{\beta }}_t}{{\beta }_t}x$$

其中 ${\dot{\alpha }}_t,{\dot{\beta }}_t$ 为 ${\alpha }_t,{\beta }_t$ 对时间的导数。该公式表明，若已知高斯分布的均值和方差随时间的演化规律（由 ${\alpha }_t,{\beta }_t$ 描述），则可直接导出其漂移速度。

其意义在于：我们掌握了每条“条件路径”上任意点的精确速度信息，即“在给定数据点 $z$ 和时间 $t$ 的条件下，正确速度的解析表达式”。

3.1 条件流匹配：转化为回归任务

我们未知边际路径的速度 $u_t^{\text{target}}(x)$，但已知条件路径的速度 $u_t^{\text{target}}(x|z)$。边际化技巧指出，边际速度场可通过条件速度场加权平均得到：

$$u_t^{\text{target}}(x)=\int u_t^{\text{target}}(x|z)\frac{p_t(x|z)p_{\text{data}}(z)}{p_t(x)}dz$$

后面的这一坨分式可以看作一个贝叶斯，等价于 $p_t(z|x)$。

基于此，Flow Matching 提出了一个简洁的训练策略：不再直接学习复杂的边际速度场，而是训练神经网络 $u_t^{\theta }$ 去拟合已知的、简单的条件速度场 $u_t^{\text{target}}(x|z)$。

这导向了条件流匹配（Conditional Flow Matching） 损失函数：

$${\mathcal{L}}_{\text{CFM}}(\theta )={\mathbb{E}}_{t,z,x\sim p_t(\cdot |z)}\left[\Vert u_t^{\theta }(x)-u_t^{\text{target}}(x|z){\Vert }^2\right]$$

3.2 为何可行：损失函数的等价性

一个自然的问题是：训练模型去拟合条件速度场，如何能保证它学会边际速度场？

答案在于，当我们将所有条件速度场的回归目标进行平均时，其效果等价于直接回归到边际速度场（这可以通过数学严格证明，感兴趣的读者可自行搜索），即：

$${\mathcal{L}}_{\text{FM}}(\theta )={\mathcal{L}}_{\text{CFM}}(\theta )+C$$

其中 ${\mathcal{L}}_{\text{FM}}(\theta )$ 是我们真正希望优化的边际速度场损失，$C$ 是与参数 $\theta$ 无关的常数。
这意味着，最小化可计算的 ${\mathcal{L}}_{\text{CFM}}$ 等价于最小化难以直接计算的 ${\mathcal{L}}_{\text{FM}}$。这一性质使得 Flow Matching 在理论上成立且易于实现。

---

4. 算法总结与实现

Flow Matching 的完整训练流程极其简洁：

1. 采样数据点 $z$：从数据集中随机抽取一个样本。
2. 采样噪声 $ϵ$：从标准高斯分布 $\mathcal{N}(0,I_d)$ 中随机采样。
3. 采样时间 $t$：从区间 $[0,1]$ 中均匀随机采样。
4. 构造带噪样本 $x_t$：根据选定的噪声调度器（如线性调度 ${\alpha }_t=t,{\beta }_t=1-t$）混合数据和噪声：$x_t={\alpha }_{t}z+{\beta }_tϵ$。
5. 计算目标速度 $v_{\text{target}}$：对于高斯路径，目标速度具有解析解：$v_{\text{target}}={\dot{\alpha }}_{t}z+{\dot{\beta }}_tϵ$。对于线性调度，该式简化为 $v_{\text{target}}=z-ϵ$。
6. 计算损失：将 $x_t$ 和 $t$ 输入神经网络 $u_t^{\theta }$，得到预测速度，并计算其与 $v_{\text{target}}$ 的均方误差。
7. 参数更新：通过反向传播优化网络参数 $\theta$。

---

算法：Flow Matching 训练过程（以线性调度为例）

输入：数据集，神经网络 $u_t^{\theta }$

1. 从数据集中采样一个数据点 $z$
2. 采样随机时间 $t\sim \text{Uniform}[0,1]$
3. 采样噪声 $ϵ\sim \mathcal{N}(0,I_d)$
4. 构造带噪样本：$x=t\cdot z+(1-t)\cdot ϵ$
5. 计算目标速度：$v_{\text{target}}=z-ϵ$
6. 计算损失：$\mathcal{L}=\Vert u_t^{\theta }(x)-v_{\text{target}}{\Vert }^2$
7. 更新 $\theta$ 以最小化 $\mathcal{L}$

---

Flow Matching 的训练过程是无模拟的（simulation-free），即无需像采样时那样逐步模拟整个 ODE 轨迹。它仅需学习将任意带噪样本“指向”数据点或目标速度的方向。训练完成后，即可通过欧拉法等数值方法模拟 ODE，从噪声生成新的样本。

---

小结

Flow Matching 的精妙之处在于，它将一个复杂的、涉及分布变换的生成问题，转化为一个简单的、基于数据点的回归问题。它无需引入变分下界或处理对数似然，仅依靠均方误差损失和明确的概率路径设计即可实现。这一框架已成为当前主流生成模型的核心训练范式。

在下一篇文章中，我们将探讨 Flow Matching 的关联方法——Score Matching（分数匹配），它从另一个视角揭示扩散模型的工作原理，并最终引出强大的条件生成与引导技术。