ABSTRACT

世界模型通过预测和推理直接观测之外的世界状态，在人工智能领域展现出巨大潜力。然而，现有方法主要在合成环境或受限场景设置中进行评估，限制了其在具有广域空间覆盖和复杂语义的真实世界场景中的验证。与此同时，灾害响应和城市规划等遥感应用迫切需要具备空间推理能力的方法。本文通过提出首个面向遥感领域的世界建模框架，弥合了上述差距。我们将遥感世界建模形式化为方向条件下的空间外推任务，即模型在给定中心观测图像块和方向指令的条件下，生成语义一致的相邻图像块。为实现严格评估，我们构建了 RSWISE（Remote Sensing World-Image Spatial Evaluation）基准数据集，包含四类场景下的 1,600 个评估任务：通用场景、洪水场景、城市场景和乡村场景。RSWISE 将视觉保真度评估与基于 GPT-4o 的指令遵循能力评估相结合，并将 GPT-4o 作为语义评判器，以确保模型真正执行空间推理，而不是简单复制输入内容。随后，我们提出了 RemoteBAGEL，这是一个在遥感数据上针对空间外推任务进行微调的统一多模态模型。大量实验结果表明，RemoteBAGEL 在 RSWISE 基准上持续优于现有最先进的基线方法。

1 INTRODUCTION

世界模型已成为人工智能领域的前沿方向，并在机器人导航（Wu et al., 2023）和自动驾驶（Guan et al., 2025）等多种应用中展现出潜力。这类模型旨在从有限观测中学习环境的压缩潜在表示，并通过在该潜在空间中模拟底层动态过程，对未观测到的状态进行预测或推理（Ding et al., 2025）。然而，目前大多数世界模型研究仍局限于合成模拟器或受限场景设置。合成环境缺乏真实环境中的复杂性和不确定性，而受限场景设置则难以体现对大尺度空间结构的推理能力。因此，现有世界模型在真实世界空间推理任务中的有效性在很大程度上仍未得到充分验证。

遥感为世界模型提供了一个独特而强大的测试平台。卫星和航空影像天然编码了“世界级”结构，例如城市道路网络（Yu & Fang, 2023）、河流系统（Tomsett & Leyland, 2019）、农业镶嵌景观（Khanal et al., 2020）以及森林景观（Fassnacht et al., 2024）。与此同时，一些具有重要影响的应用场景——包括面向灾害响应的洪水预测（Nguyen et al., 2024）以及城市规划中的基础设施预测（Wellmann et al., 2020）——都需要对直接观测区域之外的空间进行推理。然而，当前大量遥感研究主要集中在分类（Li et al., 2022；Temenos et al., 2023）和语义分割（Sun et al., 2020；Zhang et al., 2023）等识别任务上，使得世界建模在该领域中的潜力尚未得到充分探索。

本文通过提出首个面向遥感领域的世界建模框架，弥合了上述差距。我们将遥感世界建模形式化为方向条件下的空间外推任务（该方向定义在图像网格坐标系中，包括上、下、左、右，而不是地理意义上的东、南、西、北等基准方向）。在该任务中，模型在给定中心观测图像块和方向指令的条件下，需要生成语义一致的相邻图像块。如图 1 所示，这一任务形式将空间转移过程明确建模为一种下一状态预测任务，要求模型对未观测到的世界结构进行推理。

然而，将世界模型引入遥感领域面临一个根本性的评估挑战，这一挑战源于现有评估范式的局限性。当前评估方法在两类不同的失效模式上存在关键的方法学缺陷。一方面，分布保真度指标，例如 Frechet Inception Distance（FID）（Heusel et al., 2017），能够衡量生成结果在统计意义上的真实感，但忽略了生成图像块是否遵循空间方向指令。因此，模型可能通过复制输入图像，或者生成视觉上合理但空间上不连贯的图像，获得具有误导性的较低 FID 分数。另一方面，基于大语言模型的语义评估方法，例如 World Knowledge-Informed Semantic Evaluation（WISE）（Niu et al., 2025），能够捕捉模型对指令语义的遵循情况，但缺乏对分布真实感的定量约束，因此难以检测细粒度问题，例如空间不连续或纹理不匹配等。

为克服这些局限性，我们提出了 RSWISE（Remote Sensing World-Image Spatial Evaluation），这是首个专门面向遥感世界模型设计的评估框架。RSWISE 通过一种双维度评估方法，将分布保真度与空间推理一致性结合起来。具体而言，RSWISE 使用 FID 来确保生成结果符合真实世界卫星影像的统计分布特征，同时利用 GPT-4o 评估生成的图像块是否能够呈现出新的、但在地理上合理的区域，并且与方向提示保持一致。如图 2 所示，相比单独使用 FID，RSWISE 能够更好地反映生成结果的地理空间对齐程度，从而为模型之间的公平比较和后续进展跟踪提供更加规范的评估基础。

基于 BAGEL（Deng et al., 2025）这一面向生成与理解的统一多模态模型，我们提出了 RemoteBAGEL，这是首个专门为方向条件空间外推任务设计的遥感世界模型。

与以往方法可能生成视觉上合理但空间上不一致的补全结果不同，RemoteBAGEL 显式地将生成过程与空间推理约束相结合。它主要由两个组成部分构成：

1. 基于轨迹的数据构建流程：将原始卫星影像转换为带有方向指令的连续生成任务；

2. 重建驱动的训练框架：在空间外推过程中强化地理连续性和语义一致性。

大量实验结果表明，RemoteBAGEL 在 RSWISE 基准上持续优于现有最先进的基线方法。

总之，本文的贡献主要包括以下三点：

• 我们提出了一种新的遥感世界建模问题定义，即将其形式化为方向条件下的空间外推任务；

• 我们提出了 RSWISE，这是首个综合性评估框架，包含双维度评价指标，并构建了覆盖四类代表性场景的 1,600 个评估任务基准；

• 我们开发了 RemoteBAGEL，这是首个专门面向遥感空间推理任务的世界模型，并取得了当前最先进的性能。

2 RELATED WORK

2.1 WORLD MODELS AND BENCHMARKS

世界模型通常可以从两个视角进行划分：一类模型旨在通过抽象世界的底层机制来理解世界；另一类模型则旨在通过模拟环境可能的演化过程来预测未来（Ding et al., 2025）。早期工作如 World Models（Ha & Schmidhuber, 2018）主要关注对外部世界进行抽象，以深入理解其底层机制；随后，PlaNet（Hafner et al., 2019）以及 Dreamer 系列工作（Hafner et al., 2020; 2022）引入了循环状态空间模型（Recurrent State-Space Models, RSSMs），用于支持完全在潜在空间中的前向预测。近年来的研究进一步将这一思想扩展到生成建模领域：例如，基于 Transformer 的模型 TransDreamer（Chen et al., 2024）和 Genie（Bruce et al., 2024）；用于场景外推和可控驾驶的扩散模型及 VAE 驱动方法（Wang et al., 2025; Cai et al., 2023）；以及 JEPA 系列方法（Assran et al., 2023），该系列将世界模型重新定义为自监督的抽象表示学习器。

除了这些面向特定任务的设计之外，新兴的统一多模态模型（Unified Multimodal Models, UMMs），例如 BAGEL（Deng et al., 2025）和 Qwen-Image-Edit（Wu et al., 2025），展现出同时支持感知与生成的能力。其中，感知指模型能够理解输入图像和方向指令，生成则指模型能够合成新的图像块。这种统一理解与生成的内在能力，包括学习输入的压缩表示、推理并生成新的状态，使得 UMMs 具备成为潜在基础世界模型的可能性。它们能够自然地处理多模态输入和复杂生成任务，从而避免了对多个独立模块化组件的依赖。本文探讨了当这类统一架构被扩展到遥感领域的空间推理与世界建模任务时，其具体表现如何。

尽管世界模型研究呈现出多样化发展，但评估仍然是一个核心挑战。现有基准，例如 VBench（Ji et al., 2024）、ChronoMagic-Bench（Yuan et al., 2024）、TC-Bench（Feng et al., 2024）和 WorldModelBench（Li et al., 2025），主要关注受控场景或合成场景设置，并未在真实世界背景下明确涉及遥感尺度上的空间连续性或地理空间语义。这一空白使得当前评估难以检验世界模型在真实世界结构上的推理能力，例如河流、道路或城乡过渡等空间结构。如表 1 所总结，这也限制了现有基准对遥感场景中世界建模能力的全面评估。

2.2 REMOTE SENSING MODELS

遥感（Remote Sensing, RS）通过卫星和航空平台获取地球观测数据，生成的影像能够编码不同环境中的光谱变化和大尺度空间结构（Li et al., 2019）。传统上，大量遥感研究主要集中在面向识别的任务上，包括土地覆盖分类和语义分割（Sun et al., 2020；Zhang et al., 2023）。尽管近年来已经出现了大规模遥感基础模型，例如 SkySense（Guo et al., 2024）和 SpectralGPT（Hong et al., 2024），它们在学习可迁移表征方面表现出色，但这些方法很少尝试进行空间延续，或对大尺度地理空间结构进行推理。然而，生成式人工智能正在成为遥感领域的一个新兴方向，其中扩散模型已被应用于超分辨率、去云以及基于元数据条件的图像合成等任务（Huang et al., 2025）。

在这些生成式方法中，包括 Text2Earth（Liu et al., 2025a）和 EMRDM（Liu et al., 2025c），研究重点仍主要局限于图像块内部的图像合成或修复，而不是对地表潜在结构进行建模，或预测未观测到的世界状态。因此，我们将世界建模作为遥感领域的一种新范式进行探索，并提出 RemoteBAGEL，以显式地将统一多模态生成能力与地球观测数据中固有的空间推理需求结合起来。

3 THE RSWISE BENCHMARK

设计概述。 RSWISE 的目标是为遥感世界模型提供一个综合性的评估框架，直接应对地理空间场景中的空间推理挑战。该框架主要由三个部分构成：

1. 方向性空间外推的统一任务定义；
2. 覆盖多种条件的多场景数据集；
3. 双维度评价指标，用于联合评估生成结果的保真度与空间推理能力。

3.1 SPATIAL CONTINUATION SPECIFICATION

评价维度。 为了刻画空间外推任务的复杂性，RSWISE 定义了三个互补的评价维度：

1. 连续性保真度：要求生成的图像块能够在边界处延续地理结构，例如道路、河流、植被斑块等；
2. 语义过渡合理性：要求模型能够在异质区域之间生成合理的变化，例如从城市到乡村、从陆地到水域等；
3. 方向一致性：要求生成结果严格遵循给定的方向指令。

这些评价维度能够确保评估不再仅仅关注图像是否“看起来真实”，而是直接考察模型的空间推理能力。

3.2 DATASET CURATION

4.2 ACTION-CONDITIONED DATA CONSTRUCTION

4.3 ACTION-CONDITIONED TRAINING

5 EXPERIMENT AND RESULTS

5.1 EXPERIMENTAL SETTING

5.4 ABLATION STUDIES

我们通过受控消融实验验证了关键设计选择的有效性，详细结果见附录 F。表 3 的结果突出体现了三点发现：

提示语形式。图像网格对齐的方向指令，例如 “up/down”，显著优于地理方位指令，例如 “north/south”。与图像相对坐标相比，模型对地理方向术语的响应较弱，难以准确执行具体的方向命令。

空间重叠。较高的空间重叠比例，即 66.7%，对于保持地理空间一致性至关重要。降低重叠比例会在推理过程中破坏边界连续性，同时也会阻碍模型在训练阶段学习有效的跨边界空间转移模式。

方向条件。显式的方向 token 是必要的。去除方向 token 后，模型性能大幅下降至 58.7，导致生成结果趋于随机，模型无法根据指令明确生成对应方向上的内容。

5.5 VALIDITY OF GPT-BASED EVALUATION

我们通过两项研究验证了GPT-4o指标的科学严谨性：多轮运行稳定性（平均标准差0.026）和人工一致性（Spearman ρ =0.72）。这些结果证实了基于GPT的指标是一种可靠且与专家标准一致的语义评估工具，对于区分真正的空间推理与视觉抄袭至关重要。详细统计数据见附录E。

5.6 MULTI-STEP EXTRAPOLATION

图 7 展示了模型在连续多步空间外推下的性能表现。RemoteBAGEL 在早期步骤，例如 Step 1，中能够与真实结果（GT）保持较高的视觉一致性和结构一致性。然而，随着外推过程继续进行，例如 Step 3–4，生成结果中开始出现明显漂移：边界变得模糊，纹理出现重复，几何结构也逐渐发生扭曲。这种性能退化主要源于累积误差传播。在每一步外推中，模型都会以上一步自己生成的结果作为新的条件输入，因此早期生成中的微小局部偏差会随着步骤增加而不断放大，最终导致生成结果逐渐偏离真实的空间布局。此外，连续多步生成过程中缺乏全局约束，也进一步削弱了长距离空间一致性，造成结构不一致问题不断累积。总体而言，RemoteBAGEL 具有较强的短距离空间延续能力，但在长距离递归生成中仍受到误差累积和上下文漂移的限制。

6 CONCLUSION

本研究首次提出了遥感领域的世界模型构建框架。我们将方向条件空间外推定义为一项创新任务，建立了采用双维度评估的 RSWISE 基准，并开发了RemoteBAGEL模型——该模型在空间推理任务中实现了业界领先性能。研究结果表明，世界模型能够以兼具语义一致性和分布一致性的方式，精准捕捉遥感数据中的大规模地理空间结构。相关未来应用及潜在影响详见附录H。