论文笔记（一百三十四）High-Fidelity Simulated Data Generation ... Learning With Gaussian Splatting

墨绿色的摆渡人

366人浏览 · 2026-06-05 20:26:47

墨绿色的摆渡人 · 2026-06-05 20:26:47 发布

High-Fidelity Simulated Data Generation for Real-World Zero-Shot Robotic Manipulation Learning With Gaussian Splatting

文章概括
ABSTRACT
I. INTRODUCTION
II. RELATED WORK
- A. Data Generation for Robotics
- B. 机器人中的Sim2Real迁移
III. METHODLOGY
IV. 实验
V. 结论

文章概括

引用：

@article{zhao2026high,
  title={High-fidelity simulated data generation for real-world zero-shot robotic manipulation learning with gaussian splatting},
  author={Zhao, Haoyu and Zeng, Cheng and Zhuang, Linghao and Zhao, Yaxi and Xue, Shengke and Wang, Hao and Zhao, Xingyue and Li, Zhongyu and Li, Kehan and Huang, Siteng and others},
  journal={IEEE Robotics and Automation Letters},
  year={2026},
  publisher={IEEE}
}

Zhao, H., Zeng, C., Zhuang, L., Zhao, Y., Xue, S., Wang, H., Zhao, X., Li, Z., Li, K., Huang, S. and Chen, M., 2026. High-fidelity simulated data generation for real-world zero-shot robotic manipulation learning with gaussian splatting. IEEE Robotics and Automation Letters.

主页： <>
原文： https://ieeexplore.ieee.org/abstract/document/11425018
代码、数据和视频： <>

系列文章：
请在 $《$ 文章 $》$ 专栏中查找

宇宙声明！

引用解析部分属于自我理解补充，如有错误可以评论讨论然后改正！

ABSTRACT

机器人学习的规模化发展，从根本上受到真实世界数据采集所需高昂成本和大量人工投入的限制。尽管仿真数据提供了一种可以大规模扩展的替代方案，但由于仿真环境与真实世界在视觉外观、物理属性以及物体交互方式等方面存在显著差异，使用仿真数据训练得到的模型通常难以很好地泛化到真实世界。为了解决这一问题，我们提出了RoboSimGS，这是一种新的Real2Sim2Real框架，能够将真实世界的多视角图像转换为面向机器人操作任务的高保真、具备物理交互能力的仿真环境。我们的方法使用一种混合表示方式重建场景：三维高斯泼溅，3D Gaussian Splatting，3DGS，用于捕捉环境中具有照片真实感的视觉外观；而对于需要发生交互的物体，则使用网格基本体进行表示，以保证物理仿真的准确性。关键的是，我们的框架利用多模态大语言模型，Multi-modal Large Language Model，MLLM，根据视觉数据自动创建在物理上合理的可关节运动资产。该多模态大语言模型通过分析视觉数据，不仅能够推断物体的物理属性，例如密度和刚度，还能够推断物体的运动学结构，例如铰链和滑轨。实验结果表明，仅使用RoboSimGS生成的数据进行训练的策略，能够在多种真实世界机器人操作任务中成功实现零样本Sim2Real迁移。此外，RoboSimGS生成的数据还能够显著提升当前最先进方法，SOTA方法，的性能和泛化能力。实验结果验证了RoboSimGS是一种能够有效缩小Sim2Real差距，并具备良好扩展能力的强大解决方案。

索引词——模拟与动画、迁移学习、深度学习在抓取与操作中的应用。

I. INTRODUCTION

开发能够在开放世界中执行操作任务的通用机器人策略[1]，是具身智能与机器人学领域的一项宏大目标。

这里的“开放世界操作”是指机器人不仅能够完成训练时预先规定的少数任务，还能够在陌生、复杂且不断变化的环境中操作不同物体。

这些端到端模型能够直接从原始传感器输入中进行学习，并有望具备语言指令跟随、任务迁移以及上下文学习等能力。然而，这一目标从根本上受到数据采集瓶颈的限制。尽管遥操作系统[2]能够为收集专家示范数据提供一种部分解决方案，但它们仍然无法克服需要投入大量人工这一根本性瓶颈[3]，从而限制了具备语言引导控制能力和泛化能力的模型实现大规模扩展。

相比之下，在仿真环境中生成合成数据，可以随着计算资源的增加而实现大规模扩展，因此为机器人策略训练提供了一种具有吸引力且可以持续生成的数据来源。

原文使用“scales exponentially with computational resources”，强调随着计算资源增加，仿真数据的生成规模能够快速扩大。

然而，这些Sim2Real方法受到仿真环境与真实世界之间巨大领域差距的影响，这些差距体现在几何表示、视觉外观以及材料物理行为等方面，使得将学习到的策略迁移至真实世界仍然具有很大挑战[4], [5]。研究人员已经投入了大量努力，尝试通过领域随机化[5], [6]和系统辨识[7]等技术缩小这一差距。这些方法通过模拟真实世界中的噪声，并使智能体的动力学模型与真实世界的设置相匹配，从而增强智能体的鲁棒性。尽管这些方法取得了一定进展，但它们的有效性从根本上仍然受到仿真器自身能力的限制。传统仿真器通常难以提供具有视觉真实感的观测、动态交互过程以及多样化的环境变化，因此限制了智能体有效泛化到仿真环境之外的能力。

为了直接解决这一差距，Real2Sim2Real，简称R2S2R，范式近年来逐渐成为一种具有变革意义的方法[3], [8], [9], [10], [11]。其核心思想是使用NeRF[12]和三维高斯泼溅，3D Gaussian Splatting，3DGS[13]等辐射场方法执行Real2Sim场景重建，并将学习得到的照片级真实场景表示导入仿真器，从而显著缩小领域差距。 Robo-GS[14]等开创性工作展示了这一R2S2R流程的潜力，它们引入混合表示方法来生成数字资产，从而实现高保真仿真。然而，尽管这些框架实现了较为出色的视觉保真度，但它们在一个关键方面仍然存在不足，即物理交互能力。由于这些方法主要关注照片级真实感，其构建的世界在很大程度上仍然是静态且不可交互的，因此它们的应用通常局限于观测类任务，并且无法用于训练面向复杂、富接触操作任务的机器人策略。

这里的“富接触操作”是指机器人需要频繁与物体发生接触、碰撞、推动或约束关系的操作，例如：

推动物体；

拉开抽屉；

打开柜门；

插入物体；

抓取并搬运物体。

为了解决这些问题，我们提出了RoboSimGS，这是一种新的R2S2R框架，旨在弥合照片级真实感与物理交互能力之间的关键差距。 RoboSimGS的核心是构建一种混合场景表示：对于静态背景，利用3DGS提供照片级真实的视觉效果；对于可交互物体，则使用网格基本体的显式几何表示。通过这种协同方式，RoboSimGS既能够提供高保真的视觉效果，也能够支持与场景几何相对应的物理碰撞。该方法的一项关键创新，是使用多模态大语言模型，Multi-modal Large Language Model，MLLM，从多视角图像中联合推断物体的物理属性，例如密度和刚度，以及物体的运动学结构，例如铰链结构和抽屉结构，从而将静态场景转化为动态且可交互的“沙盒”环境。我们还通过整体式场景增强进一步提升机器人策略的鲁棒性，该增强方法会对物体属性、相机视角、光照条件以及运动轨迹进行随机化。大量实验表明，仅使用我们生成的仿真数据进行训练的机器人策略，能够在多种操作任务中实现出色的零样本真实世界迁移。此外，使用我们生成的数据对有限的真实世界数据进行扩充，能够显著提升当前最先进视觉运动控制策略的性能与泛化能力，这凸显了RoboSimGS作为一种可扩展且有效的数据生成解决方案的价值。我们的主要贡献总结如下：

我们提出了一种新的R2S2R框架，该框架基于3DGS与网格相结合的混合表示，能够根据真实世界场景生成同时具备照片级真实感和物理交互能力的仿真环境。
我们提出使用MLLM自动创建在物理上合理且具有可动关节结构的数字资产。
大量实验表明，我们生成的仿真数据不仅能够实现出色的零样本Sim2Real迁移，还能够显著提升现有最先进模型的性能和泛化能力。

II. RELATED WORK

A. Data Generation for Robotics

为了解决机器人领域中的数据稀缺问题，现有方法通常采用两种方式：生成新的运动轨迹，或者对观测数据进行增强。轨迹生成方法[15], [16]使用具有 $S E (3)$ 等变性的变换来改变物体的位姿。

这里的物体位姿包括物体在三维空间中的：位置；朝向。

$S E (3)$ 表示三维空间中的刚体变换集合，包括三维平移和三维旋转。

尽管这些方法能够有效生成不同的物体位姿变化，但由于它们依赖刚性的、物体级别的建模方式，因此从根本上难以泛化到具有新型几何形状的物体；对于需要精确操作的任务而言，这是一个重要的失败原因。与此相对，观测层面的数据增强方法[17]使用二维生成模型改变观测图像的视觉外观，从而提高视觉运动控制策略的鲁棒性。尽管二维图像空间中的数据增强方法具有计算效率高且易于实现的优点，但它们本身缺乏对三维空间的感知能力，这是一个关键缺陷。相比之下，我们提出了RoboSimGS，这是一种能够构建具有照片级真实感和物理交互能力的仿真环境的Real2Sim2Real框架。 RoboSimGS使用由3DGS与网格模型组成的混合三维表示来生成丰富的合成数据，不仅具备二维方法所缺少的内在三维空间感知能力，还能够使机器人策略稳健地泛化到具有新型几何形状的物体以及新的物体交互情况中。

B. 机器人中的Sim2Real迁移

经典的Sim2Real方法大致可以分为两类：领域随机化[4]和领域适配[18]。领域随机化方法通过在仿真器中引入随机变化，扩展机器人的可操作范围[4], [19]。

这里的“可操作范围”是指机器人策略能够正常工作的环境条件范围，例如不同的物体位置、质量、光照和相机视角等。

然而，这些方法的有效性受到仿真资产自身保真度的限制。如果被随机化的仿真资产本身不真实或过于简单，那么这种随机化可能无法使机器人策略充分应对真实世界中复杂的接触动力学。领域适配方法旨在从仿真环境和真实环境中提取一个统一的特征空间，从而便于在该统一特征空间中进行策略训练与迁移[20], [21]。一种更加直接的方法是Real2Sim2Real，简称R2S2R，范式。该范式旨在根据真实世界场景自动重建高保真的数字孪生体，并利用这些数字孪生体构建用于策略学习的仿真环境[15], [22]。然而，这些数字孪生体通常难以同时提供完全真实的观测结果以及合理可信的动态交互。例如，先前的工作受到预定义资产的限制，包括DexMimicGen[15]中固定的仿真资产，以及RoboVerse[22]中完全由刚性物体构成的资产。为了解决数字资产创建方面的瓶颈，一些工作尝试直接根据图像生成具有可动关节结构的资产[23], [24]；但是，这种方式可能导致生成资产在视觉外观和几何形状上与所拍摄的真实世界场景不一致。相比之下，我们首先重建一个具有照片级真实感、针对特定场景的数字孪生体，随后使用多模态大语言模型，MLLM，在不改变重建几何结构和视觉外观的情况下，推断并赋予物体运动学属性和物理属性。这种解耦设计在实现合理动态行为的同时，最大程度地保留了数字孪生体与真实世界之间的保真度。

近年来，另一类工作采用了R2S2R流程，并使用三维高斯泼溅，3D Gaussian Splatting，3DGS，重建具有照片级真实感的场景[8], [9], [10], [14], [25]。例如，SplatSim[25]能够生成视觉效果非常出色的内容。

原文中的这句话在语法和语义上并不完整，没有明确说明SplatSim具体创建了什么。结合上下文，只能确认作者在强调SplatSim生成结果具有较高的视觉质量，因此这里没有擅自补充具体对象。

然而，尽管这些最先进的R2S2R方法具有较高的视觉保真度，它们仍然面临一个新的限制：场景中的交互通常局限于预定义的刚性资产，因此无法仿真复杂动力学、抽屉或铰链等关节结构，以及非刚性物体。从本质上看，这些方法生成的是具有照片级真实感、但基本静态的“数字快照”，而不是真正能够供机器人进行交互的实验环境。为了弥合这种物理交互能力方面的差距，我们的方法引入了两项关键创新。第一，我们使用由3DGS和网格模型组成的混合表示，将可交互物体与静态背景分离。更关键的是，该方法率先使用多模态大语言模型，MLLM，从视觉数据中自动推断物体的材料属性和运动学约束。这种自动生成可关节运动资产的方法能够实现具有扩展性的数据创建，并促进机器人操作任务中的零样本Sim2Real迁移。

III. METHODLOGY

为了缩小Sim2Real差距，我们提出了RoboSimGS。该方法能够根据多视角图像生成具有真实视觉效果和物理交互能力的仿真环境。我们的方法采用一个两阶段流程，旨在为真实世界场景创建高保真的数字孪生体。第一阶段是第III-A节介绍的场景重建。该阶段构建一种混合场景表示：使用三维高斯泼溅，3D Gaussian Splatting，3DGS[13]，捕捉静态环境具有照片级真实感的视觉外观，同时使用显式网格表示可交互物体。

原文后半句“while explicit mesh for interactive objects”在语法上并不完整。结合上下文，其含义是：静态环境由3DGS表示，而可交互物体由显式网格表示。

第二阶段是第III-B节介绍的Sim2Real环境对齐。在这一阶段，上述场景组件被无缝导入物理仿真器，其中3DGS模型作为视觉背景，而网格模型则转化为能够动态运动并支持物理交互的仿真资产。我们进一步通过第III-C节介绍的整体场景增强来丰富该仿真环境，对物体、相机、光照以及运动轨迹进行随机化，从而生成多样化的仿真数据，如图1所示。

在这里插入图片描述图1.RoboSimGS的整体流程。从多视角图像出发，我们首先执行场景重建，构建一种混合场景表示，其中包括具有照片级真实感的3DGS背景，以及能够进行交互的网格物体。其中的一个关键步骤，是使用多模态大语言模型，Multi-modal Large Language Model，MLLM，自动进行物理属性估计和关节结构推断。随后，通过Sim2Real环境对齐，将重建场景与仿真器中的环境进行对齐。最后，我们应用整体场景增强，生成多样化的仿真数据。使用这些数据训练得到的机器人策略，可以直接部署到真实世界中。

A. Scene Reconstruction

尽管基于物理的仿真器在物理保真度方面表现出色，但它们通常缺乏照片级真实的渲染效果，从而与真实世界之间形成显著的视觉差距。三维高斯泼溅，3D Gaussian Splatting，3DGS[13]等近期技术进展，凭借其高质量渲染能力，为解决这一问题提供了具有潜力的方案。然而，3DGS表示无法直接与物理引擎兼容。尽管近期方法[26]能够从重建结果中提取高质量的表面网格，但如何将这些网格分解为具有可动关节结构的不同部件，仍然是一个具有挑战性的问题。为了解决这一问题，我们采用了一种解耦式重建方法：使用3DGS表示静态背景，以最大程度提高视觉保真度；同时使用显式网格表示可交互物体，以确保物理行为的合理性。整个流程首先需要对每个特定任务场景进行人工扫描，采集多视角数据大约需要10分钟。机器人本身不会被重建为可交互资产。相反，在场景扫描过程中，机器人保持静止的默认姿态，其被采集到的几何结构仅作为场景对齐的参考锚点。之后，仿真器会从机器人的标准URDF文件中加载真正可控制的机器人模型。

RoboSimGS没有尝试用一种三维表示同时解决所有问题，而是把场景拆开处理：

静态背景 → 使用3DGS → 负责“看起来像真的”
需要被操作的物体 → 使用显式网格 → 负责“能够碰撞和运动”
机器人 → 不使用扫描重建结果 → 直接加载URDF → 负责“真正被控制”

扫描真实场景时，机器人保持静止。扫描出来的机器人只相当于一个“定位标记”，用于告诉仿真器：

真实机器人原来放在哪里、朝向哪里、尺寸多大。

之后，真正执行动作的机器人，是从标准URDF文件中加载的可控制机器人模型。

1）背景重建： 我们使用三维高斯泼溅，3DGS[13]，重建静态背景，以实现照片级真实的渲染效果。场景由一组三维高斯表示，每个三维高斯均由位置、不透明度、通过球谐函数表示的颜色，以及协方差矩阵共同定义。为了渲染一个新的观察视角，这些三维高斯首先被投影到图像平面上，然后根据深度进行排序，最后通过Alpha混合进行组合，并依据以下体渲染公式生成最终像素颜色 $\text{C}$ ：

$\text{C}=\sum_{i=1}^{N}c_i\alpha_i\prod_{j=1}^{i-1}(1-\alpha_j),$

其中， $c_i$ 和 $\alpha_i$ 分别表示对该像素产生贡献的第 $i$ 个高斯的颜色和不透明度。

作者用 3D Gaussian Splatting，3DGS 来重建场景中的静态背景，让仿真器看到的背景尽量接近真实照片；同时，还给每个高斯加上一个语义特征向量，让这个背景不仅“长得像”，还“知道自己是什么”，从而帮助后续和仿真器场景进行更精确的空间对齐。

$\text{C}=\sum_{i=1}^{N}c_i\alpha_i\prod_{j=1}^{i-1}(1-\alpha_j)$

$\text{C}$ 是：当前这个像素最终的颜色。比如说，这个像素最后可能是一个RGB值。

$N$ 表示：对这个像素有贡献的高斯数量。注意，不是整个场景所有高斯，而是会影响当前像素的那些高斯。

$c_i$ 表示：第 $i$ 个高斯对这个像素的颜色值。注意，这里的颜色可能已经考虑了球谐函数，也就是考虑了观察方向。

$\alpha_i$ 表示：第 $i$ 个高斯对这个像素的不透明度贡献。它表示这个高斯在这个像素上“遮挡”和“显现”的程度。

$\prod_{j=1}^{i-1}(1-\alpha_j)$ 表示：在第 $i$ 个高斯之前，那些更靠前的高斯没有完全挡住光线后，剩下来的透过率。

用最简单的话说：第 $i$ 个高斯想贡献自己的颜色之前，必须先问一个问题：

前面那些高斯已经挡掉多少了？还有多少“可见空间”留给我？

如果前面高斯已经几乎全挡住了，那么第 $i$ 个高斯就算本身有颜色，也几乎看不到。所以这个连乘项就是：前面所有高斯共同留下的“剩余可见比例”。

整个公式翻成人话： 对于一个像素，最终颜色等于：每个高斯的颜色 × 它自己的不透明度 × 前面高斯没有挡住的剩余透过率，然后把所有高斯的这些贡献加起来。

为了实现重建场景与仿真器场景之间的精确空间对齐，我们为每个高斯附加一个可学习的语义特征向量 $\text{f}_i\in\mathbb{R}^d$ [27]，随后对该特征进行优化，使其与CLIP[28]联合嵌入空间中的语义概念相对齐。

什么是“可学习的语义特征向量”？
1. 每个高斯原来只有“外观属性”

原来的每个高斯只有这些东西：

位置；不透明度；颜色；协方差。

这些东西足够让它“被渲染”。但不够让它“被理解”。也就是说，系统知道：这里有一些彩色小椭球。但系统未必知道：这堆高斯属于桌子，还是墙，还是抽屉区域。

2. 所以作者再给每个高斯加一个语义标签式的表示

这个额外表示就是： $\text{f}_i\in\mathbb{R}^d$ 。意思是：

第 $i$ 个高斯有一个 $d$ 维向量；

这个向量不是手工写死的；

而是在训练中学习出来的；

它用来表示这个高斯的“语义信息”。

CLIP的基本作用：
CLIP是一个非常著名的视觉-语言模型。它可以把：图像；文本；都映射到同一个共同特征空间，也就是联合嵌入空间。

什么叫联合嵌入空间？

你可以把它想象成一个高维空间，在这个空间里： “桌子”的文字特征； “桌子”的图像特征；会彼此靠近。同样： “墙”的文字； “墙”的图像；也会彼此靠近。所以在这个空间里，语义相近的图像和文本会更接近。

为什么RoboSimGS要利用CLIP？

因为CLIP提供了一种非常方便的“语义坐标系”。作者希望每个高斯学到的语义特征 $\text{f}_i$ ，能够落在这个语义空间里，并且和正确的概念靠近。例如：

桌面区域的高斯 → 靠近“table”；
墙面区域的高斯 → 靠近“wall”；
抽屉区域的高斯 → 靠近“drawer”。

这样做的好处是：高斯不仅有外观，还可以按语义被识别出来。

RoboSimGS在背景重建阶段使用3DGS来表示静态环境。每个高斯包含位置、透明度、视角相关颜色和协方差，因此可以通过投影、深度排序和Alpha混合，从任意新视角生成照片级真实图像。为了让背景不仅可渲染，而且可理解、可对齐，作者进一步为每个高斯加入可学习语义特征，并通过CLIP联合嵌入空间进行约束，使得高斯能够携带高层语义信息，从而帮助重建场景与仿真场景的精确空间对齐。

2）物体重建： 对于场景中的物体，我们使用ARCode[29]进行重建。该工具不仅能够分割物体，还能够自动清理网格，从而生成封闭且可以直接用于仿真的网格模型。然而，由此生成的网格本质上仍然是静态的，因此限制了其在物理仿真中的应用。为了支持更加复杂的机器人操作任务，我们提出了一套流程，用于自动为这些静态网格赋予在物理上合理的可关节运动结构。

把真实世界中需要被机器人操作的物体，扫描成一个可以放入物理仿真器的三维网格；然后再把这个原本不能活动的整体网格，拆成多个部件，并为部件之间添加正确的关节，使它变成真正可操作的仿真资产。

MLLM驱动的关节结构推断： 该流程首先使用多模态大语言模型，MLLM，例如GPT-4o[30]，推断物体的运动学结构。通过向MLLM提供重建网格的多视角渲染图像，MLLM能够识别物体类别，并提出该物体可能具有的关节结构，包括关节类型，例如移动关节或旋转关节，以及需要被分离部件的语义标签，例如“抽屉主体”和“主柜体”。为了按照MLLM提出的方案对网格进行分割，我们直接采用AffordDex[31]中的开放词汇分割方法。该方法表现出较强的鲁棒性，能够根据MLLM生成的文本标签，成功分割物体的不同部件。完成分割后，每个部件都会经过进一步处理，以确保其能够用于仿真：网格会被处理为封闭网格，而刚性部件还会进一步进行自动凸分解。为了保证资产质量，我们在进行仿真之前加入人工检查步骤，以验证分割结果和网格完整性。最后，在网格被划分为静态基座和可移动部件之后，系统会再次向MLLM提供提示，使其确定精确的关节参数，例如关节轴和运动范围限制。这些信息随后被用于自动定义与URDF兼容的关节，从而完成能够在仿真环境中进行完整交互的可关节运动物体的创建。

系统使用AffordDex中的开放词汇分割方法。

“开放词汇分割”可以简单理解为：输入一个文字名称，模型根据这个名称，把对应的物体区域分割出来。例如输入：

drawer body

分割模型就会尝试从整个柜子网格中分离出抽屉主体。

最后，原来的完整网格被拆分成： $\mathcal{M}=\mathcal{M}_{base} ∪\mathcal{M}_{mobile}$ 。其中： $\mathcal{M}_{base}$ 是静态基座，例如主柜体； $\mathcal{M}_{mobile}$ 是可移动部件，例如抽屉。

MLLM驱动的物理属性估计： 根据物体的视觉外观推断其物理属性一直是一项长期存在的挑战，因为外观相似的材料可能表现出截然不同的物理行为。人类可以通过上下文推理完成这一任务，而近期多模态大语言模型的发展表明，这类模型同样具备类似的复杂推理能力[32], [33]。受到这些进展的启发，我们引入了一个由GPT-4o[30]驱动的物理专家智能体，用于自动估计物体的材料属性。该智能体处理一个三维资产的四个正交视角图像，以估计其基本物理参数，包括密度 $\rho$ ，单位为 $\mathrm{kg/m^3}$ ；杨氏模量 $E$ ，单位为 $\mathrm{Pa}$ ；以及无量纲的泊松比 $\nu$ 。这些参数对于高保真物理仿真至关重要，因为它们决定了物体的质量分布、刚度，以及物体在外力作用下的形变响应。随后，这些参数会被直接映射到仿真器中与之对应的物理属性。对于刚性物体，估计得到的密度用于计算物体质量，而预测得到的摩擦属性则被直接设置为刚体的摩擦系数。对于可形变物体，预测得到的杨氏模量和泊松比会被直接输入仿真器的物质点法，Material Point Method，MPM，求解器。在完成照片级真实背景和可交互物体模型的构建后，下一个关键步骤是将它们导入物理仿真器，并对齐各自的坐标系，从而创建一个统一且连贯的数字孪生体。

B. Sim2Real环境对齐

1）世界坐标系对齐： 该步骤使用机器人的几何结构作为共同锚点，将第III-A1节所述3DGS重建场景的坐标系与仿真器的坐标系进行对齐。在这一过程中，两个场景中的机器人都被固定在默认关节配置下。

这里的两个场景分别指：

3DGS重建场景；

物理仿真器中的场景。

因此，该对齐问题可以简化为寻找机器人URDF基座坐标系 $\mathcal{R}_{{urdf}}$ 与3DGS世界坐标系 $\mathcal{R}_{{gs}}$ 之间的刚体变换。为了计算该变换矩阵，我们首先生成机器人的两组点云：其中一组从3DGS重建场景中的静态机器人几何结构中提取，另一组则从机器人的URDF模型中采样获得。随后，我们使用迭代最近点算法，Iterative Closest Point，ICP[34]，通过求解以下最小化问题寻找最优刚体变换 $\mathcal{T}_{\mathrm{scene}}$ ：

$\mathcal{T}_{\mathrm{scene}}= \underset{R\in SO(3),\mathrm{t}\in\mathbb{R}^3}{\arg\min} \sum_i \left|| (R\text{p}_i^{\mathrm{gs}}+t)-\text{q}_i^{\mathrm{urdf}} |\right|^2. \tag{1}$

其中， $\{\text{p}_i^{\mathrm{gs}}\}$ 和 $\{\text{q}_i^{\mathrm{urdf}}\}$ 分别表示来自3DGS重建场景和URDF模型的点云；该变换由旋转矩阵 $R\in SO(3)$ 和平移向量 $\text{t}\in\mathbb{R}^3$ 组成。通过应用求解得到的矩阵 $\mathcal{T}_{\mathrm{scene}}$ ，我们将3DGS场景中的所有元素映射到仿真器坐标系中，从而获得完成对齐的仿真环境。

2） 相机位姿对齐： 为了将仿真相机与其真实世界中的对应相机精确对齐，我们将该问题构建为一个优化任务，其目标是最小化渲染图像与真实图像之间的光度误差。给定一张真实世界参考图像 $I_{{real}}$ ，我们的目标是求解最优相机位姿 $\mathcal{T}_{{cam}}$ ，该位姿包括相机的位置和旋转。我们最小化以下损失函数：

$\mathcal{L}_{{cam}} = \left|| \mathcal{R}(\mathcal{T}_{{cam}})-I_{{real}} |\right|. \tag{2}$

其中， $\mathcal{R}(\cdot)$ 表示可微渲染函数，它能够根据给定的相机位姿合成图像； $||\cdot||$ 表示 $L_1$ 范数。

系统从一个粗略的初始相机位姿 $\mathcal{T}_{{cam}}^{{init}}$ 出发，利用3DGS渲染器的可微性质，计算损失函数相对于相机参数的梯度。随后，系统使用梯度下降法不断迭代优化相机位姿，直至优化收敛，最终获得与真实世界视角精确对齐的仿真相机位姿。

在世界坐标系和相机位姿均完成对齐后，我们的混合场景表示便被完整集成到仿真器中，从而创建出一个可用于大规模数据生成的高保真数字孪生体，如图2所示。通过对世界坐标和相机位姿进行对齐，我们成功创建了真实世界场景的高保真数字孪生体。尽管该环境在视觉和物理层面都具有较高准确性，但这种静态环境仍不足以训练出具有较强鲁棒性的机器人策略。为了解决这一问题，我们引入整体式场景增强方法，以生成多样化的数据。

在这里插入图片描述图 2. RoboSimGS 模拟数据（左）与真实世界数据（右）的定性比较。

C. 整体场景增强

尽管前述步骤创建了一个在视觉和物理层面都忠实于真实世界的数字孪生体，但仅使用静态环境，仍然不足以训练出能够应对真实世界变化的鲁棒机器人策略。为了弥合这一差距，我们提出了整体场景增强。该过程系统性地随机改变仿真环境中的多个方面，从而创建多样化的数据集。

1）物体级增强： 为了增强机器人策略应对物体摆放位置和尺寸变化的鲁棒性，我们执行物体级增强。我们随机改变可交互物体的位置、朝向以及统一缩放比例。

“统一缩放”表示按照相同的比例同时缩放物体的长、宽和高，从而改变物体整体尺寸，而不会改变其原有形状比例。

该过程确保模型在训练期间能够接触到多种不同的物体配置，从而提高其泛化到非结构化真实世界环境中的能力。

2）相机视角增强： 借助三维高斯泼溅，3D Gaussian Splatting，3DGS，所具备的高保真图像合成能力，我们以实际部署环境为基准，生成多样但仍然真实的相机观察视角。我们首先使用经过优化、与真实世界相机设置相匹配的相机外参，具体过程如第III-B2节所述。随后，我们通过加入随机平移和随机旋转，对这一基础相机位姿施加随机扰动。该方法以真实部署视角为中心，创建一组具有变化的观察视角，从而训练机器人策略应对相机安装位置轻微偏移的能力。

3）光照条件增强： 训练环境与实际部署环境之间的光照条件差异，会对机器人策略的泛化能力构成显著挑战。为了解决这一问题，我们通过组合使用随机缩放、偏移和噪声，直接增强三维高斯的视觉属性，以模拟场景颜色对比度和整体亮度的全局变化。与此同时，系统还会为每个三维高斯独立采样随机高斯噪声，以模拟真实世界相机所具有的传感器噪声。

这里存在两个不同层面的变化：全局变化用于模拟整体亮度和颜色对比度变化；独立噪声用于模拟真实相机中的局部传感器噪声。

该方法能够生成具有较强鲁棒性的训练数据，使机器人策略能够在多种不同光照条件下有效运行。

4）轨迹增强： 为了进一步提高示范数据的多样性，并防止机器人策略过度拟合单一的运动学路径，我们引入了轨迹级增强。机器人不再直接生成一条前往目标位置的运动轨迹，而是首先使用逆运动学，Inverse Kinematics，IK，求解器，控制机器人末端执行器移动至一个随机生成的中间途经点。该中间途经点通过在最终目标位置的基础上施加一个较小的位置偏移生成。这种两阶段运动策略使机器人策略能够接触到更加丰富的运动路径分布，从而增强其从轻微执行误差中恢复的能力。

5）物理属性增强： 我们的框架不依赖人工指定且固定不变的任务级或资产级物理参数设置。相反，系统首先使用多模态大语言模型，MLLM，针对每个资产分别确定其物理属性。为了提高策略鲁棒性，并覆盖更加广泛的物理属性变化范围，系统随后会对这些由MLLM估计得到的数值施加扰动。

IV. 实验

A. 实验设置

1）硬件平台： 我们分别在真实世界环境和仿真环境中开展实验。在真实世界数据采集和机器人策略评估过程中，我们使用配备两个相机的LeRobot[36]；这两个相机能够以 $640\times480$ 的分辨率提供RGB视觉观测。与此同时，所有仿真数据均在另一台独立工作站上生成，该工作站配置了Intel Core i5-14400F处理器和NVIDIA RTX 5060 Ti显卡。我们使用Genesis仿真器。在模拟可形变物体时，Genesis采用物质点法，Material Point Method，MPM，求解器。该求解器擅长处理复杂的材料形变问题，其中物体会被自动离散化为大量粒子。刚体动力学则由Genesis内置的物理引擎负责处理。为了保证物理仿真的稳定性和准确性，所有实验均采用固定的物理时间步长 $d t = 0.01$ 秒，并且每个时间步包含60个子步。

2）策略与VLA模型训练细节： 为了验证所生成仿真数据的保真度，我们评估了多种当前最先进的机器人策略，包括在不同任务上使用的单任务方法，例如Diffusion Policy[35]，以及通用视觉—语言—动作模型，Vision-Language-Action，VLA， $\pi_0$ [1]。机器人策略的推理过程在NVIDIA H20 GPU上运行。

3）评估指标： 实验的主要评估指标为成功率，其定义为在连续35次真实世界测试中，成功完成任务的测试次数所占的百分比。如果机器人能够在20秒内完成任务，则该次测试被视为成功。

在这里插入图片描述图 3. 任务示意图。我们设计了八项操作任务用于实际评估：堆叠立方体、拾取放置、可变形拾取放置、竖直瓶子、移动瓶子、关闭抽屉、关闭盒子、擦拭，其详细信息见第四节 A4。

4）机器人任务： 为了展示该流程面对不同机器人操作挑战时的泛化能力，我们在八项不同任务上对所提出的方法进行评估，如图3所示。这些任务涵盖多种机器人操作技能，包括物体堆叠、可关节物体交互、可形变物体操作以及工具使用。具体任务如下：

任务一： 堆叠方块，Stack Cubes： 将一个边长为 $3.5,\mathrm{cm}$ 的红色方块堆放到一个边长为 $3.5,\mathrm{cm}$ 的蓝色方块上。

任务二： 抓取并放置，PickPlace： 抓取一根香蕉，并将其放入盒子中。

任务三： 可形变物体抓取并放置，Deformable PickPlace： 这是上一项任务的变体，其中使用柔软玩具替换刚性香蕉，以测试机器人操作可形变物体的能力。

任务四： 扶正瓶子，Upright Bottle： 将一个翻倒的瓶子恢复至稳定的直立状态。

任务五： 移动瓶子，Move Bottle： 抓住一个瓶子，并拖动它穿过机器人的工作空间。

任务六： 关闭抽屉，Drawer Close： 这是一项长时序任务，要求机器人先将一个边长为 $2,\mathrm{cm}$ 的方块放入抽屉中，然后关闭抽屉。

任务七： 关闭盒子，Box Close： 这是一项与关闭抽屉类似的长时序任务，要求机器人将一个边长为 $3.5,\mathrm{cm}$ 的红色方块放入盒子中，并关闭盒盖。

任务八： 擦拭，Wiping： 抓取一块毛巾，并擦拭桌面上的指定区域。

为了对方法的泛化能力进行更加可靠的评估，我们对环境的初始状态进行了较大程度的随机化。对于所有任务，主要操作物体，例如方块和香蕉，以及容器，例如盒子和抽屉，其六自由度位姿均会被随机化。

六自由度位姿通常包括：

沿 $x$ 、 $y$ 和 $z$ 轴的三维位置；
绕 $x$ 、 $y$ 和 $z$ 轴的三维旋转。

具体而言，这些物体的初始位置会在距离机器人基座 $28$ 至 $35,\mathrm{cm}$ 的环形区域内进行均匀采样。与此同时，物体绕竖直 $z$ 轴的初始朝向会在 $[0,2\pi]$ 、 $[0,\pi]$ 和 $[-\pi/8,\pi/8]$ 等区间内进行随机化。

B. 实验结果

1）零样本Sim2Real迁移： 为了验证零样本Sim2Real迁移能力，我们开展了一项关键实验：机器人策略仅使用我们生成的仿真数据进行训练，随后在不进行任何微调的情况下，直接部署到真实世界中。具体而言，我们分析了使用RoboSimGS生成的100条示范数据训练的策略，即“100 RoboSimGS”，并将其与使用50条真实世界示范数据训练的策略，即“50 Real”进行比较，结果如表I所示。值得注意的是，尽管我们的方法取得了较高的成功率，但与Real-to-Real真实数据训练与真实环境测试这一性能上限相比，仍然存在一定差距，尤其是在擦拭和可形变物体抓取放置等需要复杂接触物理的任务中。这表明，尽管我们的方法能够有效建模物体的几何结构和运动学结构，但如何准确模拟动态摩擦和非均匀形变等物理现象，仍然是一个尚未完全解决的挑战。

2）真实数据与仿真数据的协同效应： 为了评估结合真实数据与仿真数据所带来的优势，我们将使用50条真实世界示范数据训练的策略，即“50 Real”，与使用混合数据集训练的策略，即“50 Real + 50 RoboSimGS”，进行比较。表I中的结果表明，在所有接受评估的方法中，混合数据训练均带来了显著且稳定的性能提升。这体现出一种显著的协同效应：我们生成的高保真合成数据能够大幅提升有限真实世界数据的利用价值。

在这里插入图片描述

3）与R2S2R基线方法的比较： 为了进行公平比较，我们在Genesis仿真器中，分别使用各方法生成的50条合成示范训练机器人策略，并将RoboSimGS与SplatSim[25]和RE3SIM[10]等其他R2S2R方法进行比较。我们的方法表现出更优的性能，作者认为这主要源于基线方法自身存在的根本性限制。 SplatSim[25]和RE3SIM[10]均局限于刚体操作，而RoboSimGS能够成功处理可关节物体和可形变物体。具体而言，RE3SIM依赖未经推断的默认物理参数，因此限制了物理交互的保真度。 SplatSim使用K近邻，K-Nearest Neighbors，KNN，聚类方法重建机器人机械臂。然而，作者发现这种方法并不稳定，并会产生明显的视觉伪影。相比之下，RoboSimGS不仅能够推断复杂的物理属性，还能够推断运动学结构；结合整体场景增强，RoboSimGS能够生成多样且高保真的数据。

4）数据规模与效率分析： 我们进行了数据规模扩展分析，以量化所生成仿真数据的质量和样本效率。我们使用Diffusion Policy[35]，比较了使用不同数量真实数据训练的策略，即50条或100条真实示范，与仅使用不同数量仿真数据训练的策略，即50至500条仿真示范，之间的性能差异。如图5所示，仅使用RoboSimGS生成的200条示范训练的策略，便能够达到与使用100条真实世界示范训练的策略相当的性能。

在这里插入图片描述图 5. 针对堆叠立方体任务的扩散策略 [35] 的数据缩放分析。该图比较了使用不同数量的真实世界数据训练的策略与使用 RoboSimGS 生成的纯模拟数据训练的策略的成功率。值得注意的是，使用 200 个模拟演示训练的策略达到了与使用 100 个真实世界演示训练的策略相当的成功率，这凸显了我们生成数据的高质量和数据效率。

5）面向挑战性场景的泛化能力： 一个具有鲁棒性的机器人策略必须能够泛化到训练过程中未曾预见的变化。为此，我们在具有挑战性的真实世界条件下对策略性能进行了评估，如图4所示。我们比较了三种策略：第一种使用50条真实示范训练；第二种使用经过整体场景增强的50条仿真示范训练；第三种则使用这两类数据的组合进行训练。如表II所示，使用经过增强的合成数据训练的策略，性能显著优于仅使用真实数据训练的策略，表现出更强的泛化能力。将真实数据与仿真数据结合使用能够获得最佳结果，这证明所提出的数据增强方法能够有效帮助机器人策略应对真实世界中的不确定性。

在这里插入图片描述

6）Sim2Real迁移保真度： 为了评估RoboSimGS的核心迁移能力，我们进行了全面的跨域评估，如图6所示。其中的关键发现是，仅在RoboSimGS仿真器中训练并部署到真实世界的策略，即Sim-to-Real，其成功率与完全在真实世界中训练和评估的策略，即Real-to-Real，几乎相同。这一结果验证了论文的核心主张，即无需使用任何真实世界数据进行微调，便能够实现真正的零样本Sim2Real迁移。此外，Real-to-Sim场景中的优异表现表明，RoboSimGS仿真环境可以作为真实世界的高保真数字孪生体，并能够可靠地评估使用真实数据训练的机器人策略。

在这里插入图片描述图 6. 跨训练和评估领域的策略性能分析。该图比较了策略在八项任务上的成功率。我们评估了四种不同的场景以分析领域间的差距：策略分别使用来自 RoboSimGS（“Sim”）或真实世界演示（“Real”）的数据进行训练，然后在两个领域中进行评估。

7）数据生成效率与可扩展性： RoboSimGS表现出了较高的数据生成效率。在单张NVIDIA RTX 5060 Ti GPU上，RoboSimGS每天能够生成超过10,000条示范数据。该自动化生成流程的成功率超过95%，每条样本的平均生成时间约为10秒。如此高的数据吞吐量得益于若干关键优化措施。我们并行运行多个仿真工作进程，例如，可以在一张具有 $16,\mathrm{GB}$ 显存的GPU上同时运行三个工作进程。尽管每一步均需要执行包括碰撞检测在内的物理仿真，但由于3DGS渲染几乎能够即时完成，因此整个流程仍然具有很高的效率，并消除了传统仿真器中的一个主要性能瓶颈。相比之下，一名全职人工操作员通过遥操作通常每天只能采集约1,000条示范数据。因此，RoboSimGS将数据采集吞吐量提高了超过10倍，为人工数据采集提供了一种具有可扩展性且成本更低的替代方案。

8）MLLM驱动模块的验证： 为了定量验证RoboSimGS中由MLLM驱动的核心模块，我们将其输出结果与真实测量值进行了定量比较。对于MLLM驱动的关节结构推断，我们在5种常见可关节物体上进行了基准测试，例如柜体和抽屉。与人工标注的真实结果相比，我们的方法在关节类型预测方面取得了100%的准确率，包括移动关节与旋转关节的判断，并在关节轴预测方面取得了平均 $0.94$ 的余弦相似度。对于MLLM驱动的物理属性估计，我们使用主要任务中的物体进行了验证。对于刚性物体，预测质量与实际测量值之间的误差不超过17%；在 $2,\mathrm{m}$ 高度的跌落测试中，仿真物体的落地时间与真实世界落地时间之间的误差不超过16%。对于可形变物体，在施加 $10,\mathrm{N}$ 载荷的条件下，真实视图与仿真视图之间的结构相似性指数达到 $0.86$ ，表明仿真形变具有较高的视觉和物理保真度。

C. 消融实验

1）物理属性估计的作用： 为了单独分析第III-A2节中由多模态大语言模型，MLLM，驱动的物理属性估计模块所带来的贡献，我们使用50条基于默认且在物理上不合理的参数生成的示范数据训练了一个机器人策略。如表I所示，移除物理属性估计模块会显著降低策略在真实世界中的表现，尤其是在富接触操作任务中。

“富接触任务”是指机器人需要与物体或环境持续、频繁发生接触的任务，例如擦拭、推动和操作可形变物体。

例如，擦拭任务的成功率从 $0.85$ 骤降至 $0.51$ ，这是因为机器人策略学习到了无效或不符合真实世界规律的交互动力学。这一结果强调，准确的物理仿真与视觉保真度同样重要。

2）整体场景增强的作用： 为了证明简单的领域随机化并不足以训练出鲁棒策略，我们对所提出的整体场景增强策略进行了消融实验。我们使用50条示范数据训练了一个机器人策略，在这些示范中，仅对物体的六自由度位姿进行随机化。如表I中的“50 RoboSimGS w/o Holistic Scene Augmentation”所示，这种局部增强方式仍然导致了严重的性能下降。该策略会过度拟合固定的相机视角、光照条件以及确定性的动作序列。因此，所提出的整体式增强方法通过随机改变完整的场景上下文，对于学习真正鲁棒且能够实际部署的机器人策略是不可或缺的。

V. 结论

本文提出了RoboSimGS，这是一种新的Real2Sim2Real框架，旨在解决机器人学习中的两个核心挑战：真实世界数据采集成本高昂，以及仿真环境与真实世界之间存在显著差距。 RoboSimGS的核心是一种混合场景表示，它将3DGS对静态环境的照片级真实表现能力，与网格基本体对动态物体的高保真物理表示能力相结合。我们提出了一种使用MLLM的新方法，通过视觉信息推断物体的物理属性和运动学结构，从而实现完整可关节运动资产的自动创建。仅使用RoboSimGS生成的数据训练得到的策略，能够在多种真实世界机器人操作任务中取得较高成功率，从而实现零样本Sim2Real迁移。此外，当RoboSimGS生成的数据用于补充有限的真实世界数据时，该方法还能够作为一种强大的数据增强工具，显著提升当前最先进视觉运动控制策略的性能。 局限性： RoboSimGS的一个主要局限，是其场景重建流程耗时较长且较为复杂。尽管每个场景只需要执行一次这一人工步骤，但它仍然会成为将该框架大规模部署到新环境时的重要瓶颈。未来的工作将重点研究速度更快的三维重建方法，以简化并加速这一环境构建流程。