从数据生成器到评估引擎,仿真基础设施如何重塑机器人基础模型的开发范式

核心要点

  • Genesis AI 正式发布 Genesis World 1.0,一套面向机器人基础模型的全栈仿真基础设施

  • 平台将仿真定位为"评估与迭代引擎",而非单纯的数据生成工具,实现从"挂钟时间问题"到"计算问题"的范式转换

  • 仿真评估与真实硬件 rollout 的相关性达到 89%,现实差距较次优方案缩小 45%

  • 集成 Nyx 实时路径追踪渲染器、统一多物理引擎、Quadrants 跨平台编译器三大核心组件

  • 单次评估从真实世界的 200 小时压缩至仿真环境的 30 分钟,速度提升两个数量级

物理仿真机器人基础模型Sim-to-RealGPU 加速路径追踪渲染开源

一、仿真角色的认知跃迁:从数据生成器到评估引擎

在机器人学的发展历程中,仿真技术始终扮演着重要角色。从早期的运动规划验证,到后来的强化学习训练环境,仿真工具不断拓展其应用边界。然而,长期以来,业界对仿真的认知主要停留在"数据生成器"这一层面——即利用仿真环境批量生成合成数据,以弥补真实世界数据采集的不足。

Genesis AI 团队在其最新发布的 Genesis World 1.0 中,提出了一个更具系统性的视角:仿真不应仅仅被视为数据生产的工具,而应被理解为加速整个机器人模型开发周期的基础设施层。这一认知转变的核心在于,仿真平台能够同时解决机器人研发中两个最缓慢的环节——模型评估与经验学习。

具体而言,Genesis AI 将仿真定位为机器人基础模型的"评估与迭代引擎"。在这一框架下,真实世界实验不再是验证候选方案的唯一途径;仿真环境通过高度保真的数字孪生,使得研究团队能够在虚拟空间中快速评分、对比和筛选不同的模型架构与数据配方。这种转变的实质,是将模型开发周期从受限于物理世界速度的"挂钟时间问题",转化为可随算力扩展的"计算问题"。

**关键洞察:**当训练与评估共享同一仿真分布时,性能提升可能源于模型真正的改进,也可能仅仅是对仿真器动态的过拟合。因此,Genesis AI 选择将训练与评估流程解耦,确保评估信号的清洁度与可信度。

二、评估瓶颈:真实世界的 200 小时与仿真的 30 分钟

评估机器人基础模型的成本往往被低估。一个具备实用价值的模型必须在跨任务、跨物体、跨条件的广泛组合空间中保持稳定表现。同时,评估系统还需要能够暴露模型的失效模式——因为这些失效模式直接决定了后续的数据收集优先级与研发方向。

根据 Genesis AI 公开的技术资料,在其典型的模型评估流程中,单次评估需要覆盖数百个任务,每个任务重复运行数百个 episode。在真实硬件上完成这一规模的评估,意味着超过 200 小时的连续运行,且需要配备一名操作员和一套机器人工作站。若要在统计意义上比较不同模型检查点的性能差异,则需要多次重复上述流程。这一成本对于快速迭代的研发节奏而言,构成了显著的瓶颈。

200+真实世界评估所需小时数

<0.5仿真环境评估所需小时数

100×速度提升倍数

在 Genesis World 1.0 仿真环境中,同等规模的数万个评估 episode 可在不到 30 分钟内完成,速度提升达到两个数量级。更重要的是,仿真评估无需人类操作员或硬件在环,且每次运行产生"比特级精确"(bit-exact)的可复现结果。这意味着研发团队可以在任意时刻、以任意频率对候选策略、实验分支和超参数变更进行自动评分,而无需等待机器人硬件的可用时段或实验室的排期。

这种评估能力的规模化带来了多方面的实际收益:更多的实验设计可以在大规模预训练前得到验证,从而节省大量 GPU 计算资源;可以在硬件上难以实现的维度上进行系统性扫描,包括物体形状、表面材质、光照角度、相机轨迹等约十个正交扰动轴;支持跨地域团队基于一致的基准进行并行开发;并且从根本上消除了因校准漂移、机械磨损或操作员差异引入的评估噪声。

三、可信评估:零样本真实到仿真的 89% 相关性

仿真评估的价值取决于一个根本性问题:我们能否信任仿真结果?如果仿真中的性能排名与真实世界中的表现不一致,那么再快的评估速度也失去了意义。为此,Genesis AI 设定了一条严格的标准——“零样本真实到仿真”(zero-shot real-to-sim):即在仿真中评估的策略,其训练过程完全基于真实世界数据,训练与评估流程严格解耦。

这一设计选择背后的逻辑十分清晰。当训练与评估共享同一仿真分布时,性能提升可能反映的是模型对仿真器动态的过度拟合,而非真正的泛化能力。通过保持两条管道的独立,Genesis AI 确保了评估信号能够真实反映模型在实际部署环境中的表现潜力。

为了系统性地识别和量化仿真与现实之间的差距,Genesis AI 构建了一套全面的遥测系统,以及一个实时并行运行装置。该装置使仿真器与物理机器人从同一初始状态同步启动,并允许工程师独立选择策略输入的数据来源——相机帧、本体感知信号可以来自仿真器、来自真实机器人,或来自两者的可调混合。通过逐层替换输入来源并观察行为分歧的出现位置,团队能够将 sim-to-real 差距精确归因到物理、渲染、通信或控制等具体层级,而非将其简化为单一的成功或失败二元结果。

真实与仿真环境对比

图 1:Genesis AI 构建的实时并行运行装置,支持真实环境与仿真环境的 side-by-side 对比验证

经过系统性的校准与优化,Genesis AI 的仿真评估与真实硬件 rollout 的相关性达到了 89%。在基于 FID 分数的评测中,其现实差距较次优替代仿真器缩小了 45%。为了进一步验证这一相关性的统计稳健性,团队选取了三种不同规模和架构的模型(Small、Medium、Large),在 14 个任务上分别运行真实世界与仿真评估,每个任务 200 个 episode。通过 100 万次 bootstrap 迭代估计置信区间,Pearson 相关系数达到 0.8996(95% 置信区间:[0.7439, 0.9314]),同时 Mean Maximum Rank Violation(MMRV)低至 0.0166,表明仿真器不仅忠实反映了真实世界的性能趋势,还精确保留了不同模型之间的性能排序。

值得注意的是,开环评估指标(如固定数据集上的动作预测 R² 和平均绝对误差)在该实验中未能区分模型的真实世界性能差异。这揭示了一个重要结论:当开环指标落入狭窄区间后,闭环评估指标成为区分模型能力差异的关键信号。

四、Nyx:为机器人量身定制的实时路径追踪渲染器

视觉保真度是缩小 sim-to-real 差距的关键维度之一。然而,现有的渲染工具往往难以同时满足机器人应用对速度、准确性和可扩展性的要求。游戏引擎通常针对视觉冲击力进行优化,大量依赖烘焙技术;离线渲染器则追求物理精确性,但渲染单帧往往需要数分钟,且缺乏针对特定场景的优化空间。

Genesis AI 自主研发的 Nyx 渲染引擎,旨在融合两者的优势:以路径追踪的物理精确性为基线,仅在不影响下游策略学习的视觉信号的前提下,引入光栅化加速。Nyx 的设计围绕三个核心准则展开:

效率方面,Nyx 的目标是在高端消费级 GPU 上以 4 毫秒或更短的时间渲染无噪声的 1080p 帧,且无需烘焙、无鬼影。为实现这一目标,Nyx 采用了可见性缓冲区、无绑定 GPU 驱动架构、MSAA、硬件光线追踪、硬件矩阵核心以及视频压缩等技术,所有优化均以 GPU 占用率为导向。所采取的 shortcuts 经过严格筛选,确保保留对策略学习至关重要的视觉信号。

Nyx 渲染效果

图 2:Nyx 实时路径追踪渲染器生成的机器人操作场景,支持多跳光照、软阴影和间接照明

最小化 sim-to-real 差距方面,Nyx 的全栈自主可控使得光传输、光照、几何和相机模型成为有意设计的选择,而非继承的默认参数。路径追踪基线确保了多跳光照、软阴影和间接照明的物理正确性;基于物理的相机模型则保证了策略"看到"的内容与真实传感器捕获的内容一致。真实世界数据在各个环节被尽可能引入:HDRI 管线使用实测辐射度为场景照明,资产来源于内部扫描和摄影测量而非人工建模的替代品;在网格重建不足的区域,3D 高斯泼溅(3D Gaussian Splatting)技术被用于扩展真实感。Nyx 团队特别关注了图像光照与泼溅几何的协调这一难题,确保捕获的资产能够在路径追踪光传输中正确参与。

与 Genesis 的紧密集成方面,Nyx 直接接入 Genesis 物理引擎,由批量化物理驱动而非逐场景执行。这使得数千个并行 rollout 可以在单一统一管线中运行,每个 rollout 拥有独立的场景、光照和相机轨迹配置,从而将渲染吞吐量直接转化为评估吞吐量。

五、统一物理引擎:刚体与可变形体的无缝融合

真实世界中的机器人操作很少只涉及单一物理模式。抓取一块布料、倾倒颗粒材料、操作弹性物体——这些任务要求仿真器能够同时处理多种材料和物理现象。Genesis World 1.0 在单一管线中集成了多物理求解器:用于关节刚体的 MJCF/URDF/USD 格式支持(涵盖 Wuji、Sharpa、Genesis hand、Pika gripper、Tianji arm、G1 人形机器人等多种具身形态);用于弹性可变形体和布料的 FEM;用于颗粒和弹塑性材料的 MPM;用于流体的 SPH;以及用于快速布料和基于位置的液体的 PBD。

多物理仿真展示

图 3:Genesis World 支持的多物理仿真场景,涵盖刚体、布料、流体、颗粒材料等多种物理现象

在统一的场景 API 背后,Genesis 设计了三套可互换的耦合器:一套快速通用耦合器;一套 Drake 风格的半解析原始耦合器(Semi-Analytic Primal),支持 hydroelastic 接触;以及一套增量势接触(IPC)耦合器,为精细可变形体提供无穿透接触保障。不同耦合器之间的切换可通过单行代码完成,无需修改资产、传感器或策略接口。异构并行仿真支持在单一批处理环境中混合不同的物体、运动学树和场景布局。

为了更紧密地将 IPC 与关节机器人耦合,Genesis 团队扩展了 libuipc,引入了外部关节约束(External Articulation Constraint)。该约束将关节空间动力学直接嵌入 IPC 的优化框架中,使得关节空间力与接触力能够同时求解,而非在独立求解器之间交替进行。对于具有 m 个关节的关节系统,刚性求解器预测关节位移并计算关节空间有效质量矩阵,将其作为外部关节动能注入 IPC。在没有接触的情况下,求解器精确恢复关节预测;在存在接触时,求解器仅做足够修正以解决接触冲突,且修正幅度由有效质量加权——更重的连杆抵抗修正的能力更强。

在接触处理方面,Genesis 还开发了**无屏障弹性动力学(barrier-free elastodynamics)**方法,以加速接触密集场景中的 IPC 式仿真。传统 IPC 使用对数屏障函数强制非穿透约束,这导致 Hessian 矩阵在紧密接触时条件恶化,且过滤线搜索拖慢了主动集探索。Genesis 采用自定义增广拉格朗日方法替代屏障函数:每个由连续碰撞检测返回的接触对立即进入主动集,约束满足通过自适应拉格朗日乘子更新驱动,而非不断升级的惩罚刚度。在复杂场景中,这一方法较传统 IPC 实现了最高 103 倍的加速,同时仍然保证无穿透。

机器人操作布料仿真

图 4:Genesis World 中的精细可变形体操作仿真,展示了 IPC 耦合器在复杂接触场景中的表现

除统一物理外,Genesis World 1.0 在三个维度上实现了显著成熟:规模化速度方面,通过协同线程线搜索、GPU 图分解求解、分块 Hessian 分解、宽相优化、寄存器级 Cholesky 分解和求解器分块,以及针对最小线程发散和最大 GPU 核心利用率优化的窄相,复杂场景的刚体仿真速度大幅提升;数值稳定性方面,通过惯性轴对齐、自动校准求解器容差、安全 GJK 回退、无滑移漂移抑制等技术,解决了 USD/MJCF/URDF 解析、复合关节雅可比矩阵、box-box 与 MPR 碰撞、IK 四元数奇点等长期存在的边缘案例;覆盖范围方面,新增点云触觉、温度网格和接近传感器,扩展隐式 FEM 和线性共转弹性求解器,并支持 URDF xacro、MuJoCo 通用执行器、复合/ mimic 关节等格式。

六、Quadrants:跨平台编译器释放 GPU 算力

统一的物理管线需要在机器人车载计算机、工程师的 MacBook 以及 GPU 集群上无缝运行,而无需为每个目标平台分叉代码。Genesis AI 通过 Quadrants 编译器实现了这一目标。Quadrants 源自 Taichi 语言的一个分支,内核以纯 Python 编写,通过 JIT 编译生成 NVIDIA CUDA、AMD ROCm、Apple Metal、Vulkan 以及 x86/ARM64 CPU 代码。

Genesis 系统架构

图 5:Genesis World 1.0 系统架构,涵盖渲染层(Nyx)、物理层(多求解器统一框架)和编译层(Quadrants)

自分支以来,Genesis 团队针对仿真负载重新构建了编译器的关键组件,在操作和移动基准测试中实现了最高 4.6 倍的运行时加速。为在各后端保持高效,编译器将子组和块级的 SIMT 原语映射到原生等效结构(NVIDIA 的 32 线程 warp、AMD 的 64 线程 wave、Metal 的 subgroup),使得手工调优的接触求解器无需按平台分支即可运行。反向模式自动微分此前处于实验阶段,现已在每个后端成为一等公民,使得可微仿真能够便携地部署到与策略相同的硬件上。

在仿真规模扩大时,开销从单个内核计算转向每物理步中大量小内核的编排成本。Quadrants 从多个角度攻击这一开销:将每个物理步记录为单一内核图,在 CUDA 上通过硬件加速(SM90+ 支持条件循环),在其他后端通过软件支持,从而消除每个顶层 for 循环的启动延迟;独立内核可通过流重叠,在同一 GPU 上并行运行而非串行排队;对于仍然存在的启动操作,手工调优的多层缓存内核启动上下文将调度开销保持在亚微秒级别,即使大量小内核连续触发。

在内核层面,密集线性代数(Cholesky 分解、三角求解)通过直观的 Python 语法表达,编译为 16×16 分块代码路径;全内核公共子表达式消除捕获了块局部优化器遗漏的冗余计算;轻量级性能调度层在首次调用时针对给定参数几何结构对内核变体进行基准测试,并缓存每个签名下的最优选择,使相同的前端代码能够自适应运行硬件。编译产物采用三层缓存:磁盘缓存编译内核、PTX 缓存和快速缓存层用于进程启动,场景切换复用缓存内核而非触发重新编译,CI 和迭代运行的启动时间从分钟级缩短到秒级,实现 10 倍以上的启动加速。

七、场景与资产管线:从真实世界到数字孪生

有用的仿真需要两类资产:真实工作空间的忠实数字孪生,以及用于泛化测试的长尾多样化物体。Genesis AI 构建了两条互补的管线来满足这一需求。

摄影测量管线将多视角采集数据(通过内部 iOS 应用、数码相机或带 VIO 姿态初始化的现成设备收集)转换为精确的 3D 地图,然后从原始图像和姿态端到端训练网格和高斯泼溅。两者同时输入 Nyx 进行渲染和 Genesis 进行物理仿真。在此基础上,团队还探索了程序化管线,自动生成仿真环境的场景布局、资产选择、环境代码和成功指标,使复杂环境能够自动构建。

场景重建

图 6:基于摄影测量的真实场景重建与机器人部署,支持 RGB、深度、触觉、激光雷达等多种传感器仿真

在高质量资产和任务的支持下,仿真环境能够提供广泛的真实世界难以获取的传感器模态。Genesis World 已支持 RGB 相机、深度相机、触觉传感器(包括点云触觉和 FOTS 弹性体位移传感器)、激光雷达、接触力传感器、表面距离传感器、温度网格传感器、磁力计-IMU 以及接触探针等。这些传感器在并行和异构环境中均可开箱即用,为策略训练提供了丰富的感知输入。

多传感器仿真

图 7:Genesis World 中的多传感器仿真示例,展示重建场景中的机器人任务执行与传感器数据生成

八、系统评估:多轴扰动下的鲁棒性刻画

当仿真器、渲染器、编译器和资产管线全部就绪后,评估系统便能够执行真实世界测试难以完成的任务:沿着鲁棒性的每个维度探测策略,以真实硬件无法支持的规模和频率进行测试。

Genesis AI 将评估结构化为正交扰动轴的分类体系,每个轴旨在压力测试模型理解的特定类别。由于评估在仿真中进行,团队可以在物理硬件上不切实际的规模上运行这些测试:

视觉轴涵盖光照条件、相机扰动和背景变化;行为轴涵盖未见过组合、物体放置和机器人构型变化;语义轴涵盖语言重述、子任务排序和相机视角变化。对于每个轴,团队在其他所有参数保持名义值的情况下,单独变化一个参数。这些失效模式指导团队收集哪些数据以提升模型鲁棒性。

团队还利用这一框架进行模型比较。给定轴上的鲁棒性被定义为在扰动下相对于名义无扰动设置的性能保持率。通过测量不同模型在各轴上的鲁棒性轮廓,并跟踪这些轮廓如何随累积训练 FLOPs 演化,团队能够发现聚合成功率所掩盖的能力差异,并识别哪些轴需要额外的数据收集来提升鲁棒性。扰动扫描跨越多个模型规模的训练检查点,每个数据点需要数千个评估 episode,只有当评估本身几乎零成本时才可行。

九、未来路径:从评估工具到自我进化的物理 AI

Genesis AI 为仿真在机器人学中的角色规划了三个演进方向。

**第一,通过规模化仿真环境来扩展后训练。**闭环评估本身也可以成为探索的数据引擎:模型在仿真中尝试任务、失败、被评分,并在数百万次迭代和数千个任务的并行运行中持续改进,仿真器同时充当环境和评判者。大规模强化学习在仿真沙盒中已成为大语言模型开发的关键要素,Genesis AI 正以相同的 playbook 为机器人学规模化环境。

**第二,混合仿真器。**Genesis World 目前基于经典启发式方法,赋予团队对每一层栈的完全可控性和可观测性:每个旋钮都是显式的,每个行为都可以被检查、修改和归因。学习型仿真器正在快速发展,但其大量状态仍然隐式且未接地,这正是经典仿真器目前保持优势的地方。Genesis AI 正在以数据驱动的方式融合两者:经典仿真提供接地性,学习世界模型提供规模化和真实感。随着时间的推移,两者边界将逐渐模糊,相互强化。

**第三,自我进化的物理 AI 作为北极星目标。**在数字 AI 世界中,精心构建的环境 harness 使模型和智能体能够越来越自主地改进。对于物理 AI,仿真可以充当这一 harness 层。Genesis AI 的愿景是自我进化的物理 AI:通过两个循环实现端到端的持续改进。内循环在仿真中运行,智能体生成环境、模型执行动作、仿真器评分、策略改进;外循环在真实世界中运行,部署暴露边缘案例,这些案例重新校准仿真器,智能体将案例反馈回任务分布。每个研究者通常会调整的变量——数据混合、架构、奖励、课程和新环境——都可以由智能体自动调优,只要每次变更都是可验证的。

所有这一切服务于一个核心目标:使机器人基础模型的开发不再被真实世界 1 倍速所瓶颈。借助可信的仿真器,想法的吞吐量可以随计算资源扩展,每个开发周期都被显著缩短。Genesis World 1.0 的发布,标志着机器人仿真从辅助工具向核心基础设施的历史性转变,也为整个行业提供了一个值得深入研究和借鉴的技术范式。

参考文献

  1. Genesis AI Team. The Role of Simulation in Scalable Robotics, Genesis World 1.0, and the Path Forward. Genesis AI Blog, May 2026. https://www.genesis.ai/blog/the-role-of-simulation-in-scalable-robotics-genesis-world-10-and-the-path-forward

具身&世界模型blog: https://jinxindeep.github.io/blog/blog2026.html

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐