Kevin Black, Noah Brown, Danny Driess, Adnan Esmail, Michael Equi, Chelsea Finn, Niccolo Fusai, Lachy Groom, Karol Hausman, Brian Ichter, Szymon Jakubczak, Tim Jones, Liyiming Ke, Sergey Levine, Adrian Li-Bell, Mohith Mothukuri, Suraj Nair, Karl Pertsch, Lucy Xiaoyang Shi, James Tanner, Quan Vuong, Anna Walling, Haohuan Wang, Ury Zhilinsky

https://physicalintelligence.company/blog/pi0

主要创新点：

1. 基于预训练 VLM 和 Flow Matching 的新型通用机器人策略架构
2. 对这个机器人基础模型的预训练/后训练方法的实验调查

[Paper]: https://arxiv.org/abs/2410.24164

[Code]: https://github.com/Physical-Intelligence/openpi

---

作为一个通用机器人策略，模型的核心结构是：一个预训练的 VLM，加上一个动作专家（Action Expert），后者通过 Flow Matching 生成连续动作。

Flow Matching 可以理解为 Diffusion 的一种变体。

VLM、LLM 等模型虽然已经取得了不少成果，但它们的输入输出始终停留在图片或语言层面，没法直接和物理世界产生交互。而 VLA 不同，它通过动作模块最终生成能控制机器人的动作序列，这些动作会转换成机器人的控制量，从而实现对真实世界的物理交互。

为什么先读这篇论文？更早的工作如 OpenVLA 的动作模块和 Pi0 的流匹配不太一样：OpenVLA 输出的动作序列是离散的（用自回归离散化的方式表示和生成动作），而 Pi 系列输出的动作是连续的。我了解到后面不少 VLA 模型（如 SmolVLA）都和 Pi 一样，用基于 Flow Matching 的动作专家来生成动作序列。所以我觉得 Pi0 作为 OpenPi 系列的开篇之作，更适合作为 VLA 入门的第一篇来学。

论文中引用了 Robert A. Heinlein 在 Time Enough for Love 中的一句话：A human being should be able to change a diaper, plan an invasion, butcher a hog, conn a ship, design a building, write a sonnet, balance accounts, build a wall, set a bone, comfort the dying, take orders, give orders, cooperate, act alone, solve equations, analyze a new problem, pitch manure, program a computer, cook a tasty meal, fight efficiently, die gallantly. Specialization is for insects.

大意是：只有昆虫才会专精于同一种技能，而人类应该学会各种通用的技能。

文章类比了 NLP 和 CV 领域的训练方法，认为先用高度多样化的数据对机器人做预训练，再对目标任务做微调，往往比直接在目标任务上训练更有效。实验结果也印证了这一点——迄今为止，预训练 + 微调依然是 VLA 领域的主流训练范式。

模型框架：

• 一个预训练的 VLM（基于 PaliGemma）
• 一个基于 Flow Matching 的 Action Expert

文中提到选 PaliGemma 作为 VLM 骨干，是因为它方便且相对较小（在规模和性能之间做了权衡），对机器人实时控制比较友好。不过提出的框架和任何预训练 VLM 都兼容。

架构灵感来自 Transfusion，它通过多个目标训练单个 transformer。

基于 Transfusion，他们发现给机器人专用的 tokens（动作和状态）单独用一组权重，效果会更好。这个设计有点像专家混合的两个元素：一个负责图像和文本输入，另一个负责机器人专用的输入输出，后者就是所谓的 Action Expert。

数据分布的建模如下：

$p({\mathbf{A}}_t|{\mathbf{o}}_t)$

${\mathbf{A}}_t=[{\mathbf{a}}_t,{\mathbf{a}}_{t+1},\dots ,{\mathbf{a}}_{t+H-1}]$ 表示未来的动作块（Action chunks），文中取 $H=50$；${\mathbf{o}}_t$ 是观测值，包括：

1. 多张 RGB 图像
2. 语言指令
3. 机器人本体的感觉状态

例如 ${\mathbf{o}}_t=[{\mathbf{I}}_t^1,\dots ,{\mathbf{I}}_t^n,{\ell }_t,{\mathbf{q}}_t]$，其中 ${\mathbf{I}}_t^i$ 是第 i 张图像，${\ell }_t$ 是文本 tokens 序列，${\mathbf{q}}_t$ 是关节角度向量。${\mathbf{I}}_t^i$ 和 ${\mathbf{q}}_t$ 先通过对应的编码器编码，再通过线性投影层投影到与文本 token 相同的 embedding 空间。

动作块 ${\mathbf{A}}_t$ 中的每个动作 ${\mathbf{a}}_{t^{\prime }}$ 都对应一个由动作专家输出的 action token。训练时用 条件流匹配损失（Conditional Flow Matching Loss） 来监督这些 action tokens：

$L^{\tau }(\theta )={\mathbb{E}}_{p({\mathbf{A}}_t|{\mathbf{o}}_t),q({\mathbf{A}}_t^{\tau }|{\mathbf{A}}_t)}\Vert {\mathbf{v}}_{\theta }({\mathbf{A}}_t^{\tau },{\mathbf{o}}_t)-\mathbf{u}({\mathbf{A}}_t^{\tau }|{\mathbf{A}}_t){\Vert }^2,$

下面这段建议对照原文看，公式和背后的原理我也没完全吃透。下面是我问 AI 得到的解答，我尽量用比较好懂的方式整理了一下。

简单来说，pi0 并没有直接输出确定的动作数值，而是使用了一种叫做 流匹配（Flow Matching） 的生成式技术（类似于 Stable Diffusion 背后的扩散模型，但数学原理略有不同）来“生成”动作。

流程是：模型接收一个动作块（Action Chunk，${\mathbf{A}}_t$），即一系列连续动作，把它们转成 token 喂给专门的神经网络（Action Expert），然后训练这个网络，让它学会从“随机噪声”中恢复出“正确的机器人动作”。

公式 $L^{\tau }(\theta )$ 的核心含义是：让网络预测的向量场${\mathbf{v}}_{\theta }({\mathbf{A}}_t^{\tau },{\mathbf{o}}_t)$去逼近真实的向量场$\mathbf{u}({\mathbf{A}}_t^{\tau }|{\mathbf{A}}_t)={\mathbf{A}}_t-ϵ$。简单说，就是教网络“在这个噪声状态下，应该往哪个方向走才能变成真实动作”。论文采用了一种简单的 线性高斯概率路径（Linear-Gaussian probability path），也叫最优传输（Optimal Transport），来描述从真实动作到噪声的过渡：

$q({\mathbf{A}}_t^{\tau }|{\mathbf{A}}_t)=\mathcal{N}(\tau {\mathbf{A}}_t,(1-\tau )\mathbf{I})$

$\tau$ 是时间步，范围在 [0,1]：$\tau =1$ 对应真实动作，$\tau =0$ 对应纯噪声。“噪声动作”${\mathbf{A}}_t^{\tau }$通过公式${\mathbf{A}}_t^{\tau }=\tau {\mathbf{A}}_t+(1-\tau )ϵ$来计算。

具体在训练时，先随机采样一个噪声$ϵ$，然后把它和真实动作${\mathbf{A}}_t$混合，得到一个“噪声动作“${\mathbf{A}}_t^{\tau }$。随后计算目标向量场$\mathbf{u}({\mathbf{A}}_t^{\tau }|{\mathbf{A}}_t)={\mathbf{A}}_t-ϵ$（表示从噪声回到真实动作的方向），并让网络输出${\mathbf{v}}_{\theta }({\mathbf{A}}_t^{\tau },{\mathbf{o}}_t)$去匹配这个目标$\mathbf{u}$。

网络架构细节：

• 使用了 全双向注意力掩码 (Full bidirectional attention mask)。这意味着所有的动作 token 可以互相“看见”彼此（Self-Attention），而不是像语言模型那样只能看前面的词。这允许模型同时优化整个动作序列。

推理阶段：从纯随机噪声${\mathbf{A}}_t^0\sim \mathcal{N}(0,\mathbf{I})$开始，用训练好的向量场一步步“积分”（Integrate），从$\tau =0$走到$\tau =1$。在这个过程中，使用了 前向欧拉法（Forward Euler integration）：

${\mathbf{A}}_t^{\tau +\delta }={\mathbf{A}}_t^{\tau }+\delta {\mathbf{v}}_{\theta }({\mathbf{A}}_t^{\tau },{\mathbf{o}}_t)$

公式的含义是：当前的动作 = 上一刻的动作 + 积分步长 × 网络预测的方向。

实验中只用了 10步 ($\delta =0.1$)。这意味着推理速度很快，不需要像某些扩散模型那样跑几十步。

KV Cache：这是一个重要的加速技巧。因为在生成动作的过程中，机器人的观测值${\mathbf{o}}_t$（比如摄像头看到的图像、文本指令）是不变的。所以，模型可以把这些观测值的 Attention Key/Value 缓存起来，每一步只需要重新计算动作 token 的部分。这大大减少了计算量。

数据集和训练方案

和 LLM 一样，pi0 采用 预训练 / 后训练 的两阶段流程。预训练用多样化但质量相对较低的数据，让模型接触各种任务，并学会从错误中恢复；后训练用高质量数据，让模型能熟练、流畅地执行下游任务。

展望和不足

文中指出了当前研究的几点不足：

1. 训练时对来自不同任务/机器人的数据集做了加权，但还不清楚预训练数据集该怎么组合、怎么加权；
2. 目前并非所有评估任务都能可靠运行，需要多少数据、什么样的数据才能达到理想性能，也还不明确；
3. 在预训练阶段，把不同任务、不同机器人的多样化数据结合起来，是否能带来更好的效果，仍有待观察；
4. 研究结果在一定程度上表明通用预训练机器人基础模型是有可能的，但这种通用性能否延伸到自动驾驶、导航、腿部运动等领域，还需要进一步探索。

总的来说，文章对未来的展望更多集中在训练方式、训练数据集的优化上，而不是模型架构本身。