26年3 月来自德国亚琛和荷兰代尔夫特理工大学的论文“Latent World Models for Automated Driving: A Unified Taxonomy, Evaluation Framework, and Open Challenges”。

新兴的生成式世界模型和视觉-语言-动作（VLA）系统正通过实现可扩展的仿真、长时程预测和功能丰富的决策，迅速重塑自动驾驶。在这些发展方向上，潜表示作为核心计算基础：它们压缩高维多传感器观测数据，实现时间上一致的部署，并为规划、推理和可控生成提供接口。本文提出一种统一的潜空间框架，该框架综合自动驾驶世界模型领域的最新进展。该框架根据潜表示的目标和形式（潜世界、潜动作、潜生成器；连续状态、离散token和混合状态）以及几何、拓扑和语义的结构先验来组织设计空间。基于此分类体系，本文阐述五项贯穿始终的内部机制（即结构同构、长期时间稳定性、语义与推理一致性、价值导向的目标和训练后训练，以及自适应计算和决策），并将这些设计选择与鲁棒性、泛化性和可部署性联系起来。此外，本文还提出具体的评估方案，包括一套闭环指标体系和一种资源感知的决策成本，旨在减少开环/闭环之间的不匹配。最后，本文指出推进潜世界模型发展的可行研究方向，以实现决策就绪、可验证且资源高效的自动驾驶。

---

下图并非实际的流程图，而是一个概念性的“虚拟旅程”，它将本文展开为一个连贯的设计路线图：首先，它阐述原始感官知觉和基于学习的方法在实际应用中的复杂性和挑战（如第一节“引言”所示）；其次，它构建一个简洁的建模范式分类体系（第二节“分类体系”）；然后，它重点阐述控制部署行为和稳定性的核心内部机制（第三节“内部机制”）。在此基础上，本文探讨开环预测和闭环交互的评估标准有何不同（第四节“指标与基准”），并探讨尚未解决的开放性挑战（第五节“开放性挑战”），最后，它概述以结构化潜表示和统一评估原则为中心的未来发展方向（第六节“未来展望”）。

下图展示所提出的分类体系概念概述，阐明不同的建模范式如何通过共享的潜空间视角相互关联。作为对该概述的补充，下表以简洁的属性级比较形式呈现世界模型代表性方法和研究，并按潜表征形式、建模目标以及与下游决策任务的集成进行组织。图和表共同构建一个统一的视角，将神经模拟、以潜变量为中心的规划、生成式数据合成和场景编辑，以及认知推理和潜思维链机制等世界建模框架联系起来。该分类体系并非将这些范式视为孤立的方向，而是强调它们共享的结构选择和权衡，例如表征流形（连续、离散或混合）、施加的几何或拓扑先验、时间分解策略以及价值取向的目标，这些因素对展开保真度、推理能力以及闭环控制的适用性有着至关重要的影响。

A. 时空世界建模与神经模拟

本类别涵盖构建神经模拟器以近似物理世界演化的方法，重点在于生成高保真、时空一致的未来观测结果，涵盖从二维 (2D) 视频序列到三维 (3D) 空间占用流等多种形式，作为下游感知和预测任务的基础。此处，神经模拟指的是在学习的潜动力学模型中，基于动作条件的展开式预测和决策，而非逼真的渲染。

B. 基于潜空间的规划与强化学习

基于潜空间的规划方法超越像素级处理，利用世界模型的压缩结构化潜空间，实现高效的轨迹规划和策略学习。通过利用这些模型的“梦想”能力，它们可以模拟未来结果，从而优化决策策略，而无需高维感知数据的计算开销。

传统的端到端自动驾驶方法通常依赖于“感知→预测→规划”的级联流程。这些系统难以明确捕捉交通参与者之间交互的未来演变，并且缺乏对轨迹分布的结构化先验建模。

C. 生成式数据合成与场景编辑

为了缓解自动驾驶中长尾分布的挑战，此类研究利用生成模型合成罕见的安全关键场景或编辑现有传感器数据，从而利用多样化、可控且符合物理规律的环境来丰富训练数据集。

现实世界的自动驾驶数据集通常存在严重的类别不平衡问题，主要包含“晴朗的白天”等常见条件，而“雨夜”等具有挑战性的场景则代表性不足。

D. 认知推理与潜思维链

这种新兴范式将大型视觉-语言模型（VLM）的语义推理能力集成到驾驶栈中。然而，该领域正迅速从被动的基于VLM的解释转向主动的思维链（CoT）推理，使自主智体能够从直觉式的“系统1”反应器（快速、感知驱动的响应）过渡到深思熟虑的“系统2”思考者（缓慢、基于推理的规划）[75]，后者通过逻辑推理进行规划。虽然自然语言提供可解释性，但对于实时控制而言，其计算效率通常较低。

---

潜表征的内部机制构成自动驾驶世界模型的骨架，决定潜模型的展开在闭环交互下是否保持物理一致性、时间稳定性和决策相关性。本文并非将感知、预测、规划和推理视为独立的模块，而是提炼出五个贯穿各种范式并反复出现且在很大程度上决定鲁棒性、泛化能力和可部署性的交叉机制。

如图所示，这些机制归纳的范式包括：(A) 结构同构和几何先验，用于构建几何和拓扑一致的潜结构；(B) 时间动态性和长期稳定性，用于缓解递归展开过程中的累积误差；© 语义和推理对齐，用于将潜变量转化为可迁移的抽象概念；(D) 价值对齐的目标和后训练，用于将潜模型的展开与安全性和效用相关的结果联系起来；以及 (E) 自适应计算和权衡，用于在不确定性和系统约束下分配展开深度。

A. 结构同构与几何先验

现代世界模型的一个根本性范式转变，是从非结构化的低维潜变量瓶颈过渡到能够保持几何保真度的空间同构表示。与早期将场景压缩成抽象一维向量的方法不同，近期的框架严格强制潜空间内的空间对应关系，以保留驱动环境的物理结构。

B. 时间动态与长期稳定性

除了空间结构之外，潜表示的时间机制在很大程度上决定世界模型能否支持长期想象，而不会陷入模糊、运动学不一致或结构幻觉。自回归展开模型中反复出现的失效模式是误差累积和时间崩溃，其中潜在的不确定性和分布偏移会随着时间的推移而累积，并逐渐降低对未来的预测精度。因此，近期的研究强调时间分解、记忆结构更新以及明确缩小训练与推理差距的训练目标。

C. 语义与推理对齐

为了赋予潜空间认知推理能力和物理基础，现代框架越来越依赖于超越简单重建目标的语义对齐机制。

D. 价值对齐目标与训练后处理

潜世界建模的一个显著趋势是从以重建为中心的训练转向明确反映决策效用的目标。传统的流程​​主要优化像素级重建或感知相似性（例如，扩散去噪损失和Fréchet初始距离（FID）/Fréchet视频距离（FVD）式代理[76]），并隐含地假设视觉上忠实的展开轨迹足以满足后续规划的需求。在安全至关重要的驾驶场景中，这种假设并不成立：展开轨迹可能看起来很清晰，但仍然无法用于决策，例如，通过引发碰撞、违反可行驶区域限制或错误地表示交互式智能体的行为。因此，近期的系统通过价值导向的信号来增强或取代纯粹的感知目标，这些信号将潜在的预测结果与规划和安全结果联系起来。

价值导向的训练会引入一些新的失效模式，这些模式在感知指标下不易察觉。奖励机制可能不够完善或不完整，从而导致奖励机制被滥用或过度优化，以替代安全概念。训练后，概率质量可能集中在保守行为上，从而改变覆盖范围，进而降低复杂交互中的性能。鉴于此，应同时报告感知质量和以决策为中心的结果，并将价值信号与可行性约束和校准后的不确定性相结合，以避免过度自信。

E. 潜预测中的自适应计算和深思熟虑

潜世界模型的功能日益增强，它们不仅作为预测引擎，而且作为规划时深思熟虑的计算基础。驾驶需要不同的推理机制：许多情况下可以进行快速反应控制，而罕见或高度交互的场景则受益于更深入的前瞻、反事实评估和多假设推理。潜预测通过提供一个紧凑的空间来生成和评估未来的假设，从而实现这种多样性。而近期的VLA/世界模型系统表明，这种深思熟虑的深度和广度应该是自适应的，而不是固定的。

---

自适应决策引发评估和系统方面的问题，而这些问题在许多实验方案中仍未得到充分阐述。只有当更深层次的推理符合延迟、内存和功耗预算时，才能提高安全性；反之，激进的提前退出启发式方法恰恰会在罕见的安全关键案例中失效。因此，报告应将任务指标与计算预算（例如，每帧毫秒数、内存占用、展开步骤和分支因子）相结合，并描述计算分配如何影响故障率。实际部署可能需要感知不确定性的触发器、安全监控器以及优雅的回退行为，以应对决策被截断或潜在展开在分布偏移下变得不可靠的情况。

A. 开环保真度和闭环稳定性

高保真度的感知重建是内部仿真的基础，但世界模型的最终效用取决于其支持安全稳健决策的能力。对这种能力的评估已从静态几何比较发展到动态的、交互感知的评估，后者考察模型在不确定性和误差累积下的行为。

如图展示开环评估和闭环评估之间的根本区别。开环测试在静态、非反应式的环境中，使用离线单步指标（例如平均位移误差 (ADE)、弗雷歇Frechet 起始距离 (FID)、弗雷歇视频距离 (FVD) 和一致性）来评估预测质量。相比之下，闭环评估通过在线多步部署，在反应式和交互式的环境中衡量策略质量，重点关注任务层面的结果，例如成功率、碰撞频率、违规行为和越野事件。预测保真度和交互稳健性之间的矛盾构成了潜世界模型基准测试的核心权衡。

B. 基准测试和仿真环境

自动驾驶的可靠性需要一个多样化的评估平台生态系统，涵盖从用于表征学习的大规模静态数据集到用于策略验证的反应式仿真器。下表根据保真度和交互性之间的权衡，将现有环境（代表性数据集和仿真平台）分为三类：（1）用于开环感知和预测的静态真实世界数据集；（2）用于闭环策略验证的交互式仿真平台；以及（3）用于混合日志仿真的数据驱动神经仿真平台。

C. 迈向统一的潜表示-中心评估指标

现有基准测试通常将开环预测保真度与闭环安全性评估脱钩[11]、[86]、[87]。虽然诸如nuScenes[77]和WOD[88]等数据集对开环指标进行标准化，但感知相似性和交互鲁棒性之间的差异仍然普遍存在。为了解决这个问题，本文提出三种互补的统一指标，旨在弥合潜表示质量与部署行为决策安全性之间的差距。

a) 闭环安全差距 (CSG)：为了量化视觉保真度和交互安全性之间的不匹配，本研究定义闭环安全差距。
b) 时间一致性评分 (TCS)：稳定的决策还需要平滑的帧间轨迹演化。受先前对控制抖动和概率稳定性分析的启发 [89]，本研究提出并定义归一化的时间一致性评分。
c) 深思熟虑成本 (DC)：由于世界模型包含多步骤想象和分支展开，评估还必须考虑实时约束下的计算可行性 [12]。为了系统地衡量认知深度和计算可行性之间的权衡，本研究将深思熟虑成本 (DC) 定义为一个归一化的效率指标，用于衡量获得边际安全改进所需的资源占用。

---

尽管自动驾驶的潜世界模型取得了快速进展，但将强大的基准测试结果转化为稳健的实际驾驶行为仍然充满挑战。评估标准明确指出了这一差距：开环保真度和短期精度通常无法预测长期部署、领域转换和交互式反馈下的闭环安全性。因此，许多失败并非仅仅是工程缺陷，而是源于潜在表征随时间演进的方式、想象过程中计算资源的分配方式以及在不确定性下决策的依据和验证方式。

如图总结五个反复出现的瓶颈。图 A 重点介绍长期幻觉和由累积部署误差导致的漂移；图 B 反映实时部署的限制，这些限制在车载延迟、内存和功耗预算下，会阻碍深思熟虑；图 C 强调持续存在的仿真-到-实际以及跨域泛化差距；图 D 则指出有限的可解释性和较弱的因果推理能力，这些都使诊断和验证变得复杂。图 E 进一步强调安全关键型长尾交互的稀缺性，因此需要进行超出分布内基准的压力测试和评估。

A. 长时程一致性与幻觉困境

尽管近期的生成式驾驶世界模型在短时程视觉保真度方面取得显著进展，但长时程展开仍然面临着稳定性下降和幻觉的根本挑战。随着展开长度的增加，累积的潜状态误差和分布偏移会逐渐放大，导致渲染模糊、运动学漂移，以及更严重的物理和几何约束的结构性违反（例如，物体自发消失、多视角不一致或动态上不合理的自我/智体状态）。先前的研究已开始从互补的角度阐明这些缺陷的成因以及潜在的缓解策略。

研究中凸显一个更广泛的开放性问题：该领域仍然缺乏统一、可解释且与闭环相关的长期稳定性评估协议。一个关键方向是建立长期感知指标（例如，窗口化全视差）、几何一致性、物理可行性和闭环故障率（碰撞/越野/险些碰撞）之间的原则性对应关系，从而使世界模型从仅仅视觉上合理转变为可用于决策。

B. 实时效率与部署

尽管基于扩散的生成器和大型 Transformer 世界模型取得了快速发展，但实时部署仍然是自动驾驶的主要瓶颈：最先进的生成式部署通常计算密集、内存占用高，并且难以在严格的车载延迟和功耗预算内执行（例如，车规级片上系统 (SoC)）。近期的研究探索了互补的方向，但仍然存在一些重要的局限性。

目前仍缺乏统一的系统级方法，以同时优化 (i) 部署/模型保真度、(ii) 推理延迟和内存占用，以及 (iii) 在交互式反馈下的闭环安全性。有前景的研究方向包括低步长生成式部署（蒸馏和一致性目标）、硬件-觉察压缩（量化/剪枝）、模块化调度（具有安全关键回退机制的异步世界模型更新），以及在实际汽车约束条件下报告任务性能和实时预算（毫秒/帧、内存、功耗）的基准测试。

C. 仿真-到-现实的差距和泛化能力

生成式世界模型和端到端驾驶策略通常在分布内表现出强大的性能，但在分布偏移时性能急剧下降，从而造成持续的仿真到现实以及跨域泛化能力的差距。基于特定日志分布（例如，特定城市、传感器套件或天气状况）训练的模型，在部署到具有不同道路拓扑结构、交通规范[91]、传感特性或长尾交互的区域时可能会失效。难点在于模拟中存在多种相互交织的因素，例如偏移、渲染和动力学不匹配、传感器噪声和校准差异、其他智体的行为异质性以及数据集特定的偏差，因此，在单一基准测试上的改进很少能转化为稳健的域外（OOD）安全性。
该领域的进展需要评估协议，这些协议应明确强调域外条件（例如新的城市、传感器配置、罕见的交互），并报告闭环故障统计数据以及开环精度。在方法论上，有前景的方向包括：在潜空间中将外观与几何和动力学解耦；学习用于交互建模的域不变因果因素；以及设计在偏移条件下可证明安全的自适应或校准机制（例如，不确定性-觉察的回退策略和安全监控器）。如果没有这些协议和系统方面的进步，生成保真度或分布式规划精度的提高不太可能转化为可靠的实际部署。

D. 可解释性和因果推理

基于学习的驾驶策略和世界模型仍然难以审核：优异的性能可能与虚假线索、脆弱的注意模式以及与实际决策机制不符的事后叙述并存。可解释性方法开始揭示内部敏感性，但建立具有因果关系且与行动相关的解释，并预测分布变化下的失效模式，仍然是一个尚未解决的挑战。
要取得进展，需要评估协议来检验解释的可靠性（解释是否能预测干预措施下的行为变化）、将解释与闭环安全结果联系起来，并在具有物理意义的变量层面支持反事实分析。方法论方向包括：解耦和扎根的潜因素、带有显式干预的因果表征学习，以及利用因果结构来预测失效而非仅仅事后描述失效的安全监控器。

E. 安全关键型和长尾数据

在真实驾驶日志中，安全关键型事件（碰撞、险些碰撞、极端切入、罕见违规）极其稀少，导致训练和评估都存在严重的不平衡。因此，针对正常驾驶情况拟合的模型在罕见交互情况下可能失效，而标准基准测试往往对主要风险模式的采样不足。生成式增强是一种自然的应对措施，但它也引发了关于覆盖范围、真实性和安全相关性的难题。

更强大的基准测试应报告罕见事件风险（碰撞/驶出道路/险些碰撞），并支持场景级验证（规则符合性、物理可行性、多视角一致性）。安全约束生成、校准的不确定性和模拟器在环验证可能是将合成长尾数据转化为可衡量的闭环安全增益的先决条件。

---

推进潜世界模型向可靠的自动驾驶实际部署迈进，需要在模型稳定性、评估一致性、表征结构和系统集成等方面协调推进。尤其重要的是，稳定长期部署对于缓解分布变化导致的累积误差和幻觉至关重要。同时，协调开环预测指标与闭环交互性能对于缩小长期存在的指标与决策之间的差距至关重要。最后，构建可解释性和任务基础化的潜空间，可以在规划流程中实现可控的、语义上有意义的推理。

下图总结五个互补的研究方向，旨在推进可用于决策、实际部署的自动驾驶的潜世界模型：（A）基础化和结构化的潜世界；（B）具有闭环对齐的长期部署稳定性；（C）潜动作和 VLA 接口；（D）仿真-到-实际的泛化和适应；以及（E）在资源约束下进行实时部署的系统级优化。这些方向共同的目标是构建不仅在感知上具有表现力，而且在因果关系上具有基础性、计算效率高，并且在交互式驾驶环境中可验证安全性的世界模型。

注：插图估计是Gemini生成。