论文笔记（一百三十五）Learning Object-Centric Spatial Reasoning... in Cluttered Environments（二）

墨绿色的摆渡人

338人浏览 · 2026-06-11 14:14:13

墨绿色的摆渡人 · 2026-06-11 14:14:13 发布

Learning Object-Centric Spatial Reasoning for Sequential Manipulation in Cluttered Environments

文章概括
ABSTRACT
实验
VII. CONCLUSION

文章概括

引用：

@article{eze2026learning,
  title={Learning Object-Centric Spatial Reasoning for Sequential Manipulation in Cluttered Environments},
  author={Eze, Chrisantus and Julian, Ryan C and Crick, Christopher},
  journal={arXiv preprint arXiv:2603.02511},
  year={2026}
}

Eze, C., Julian, R.C. and Crick, C., 2026. Learning Object-Centric Spatial Reasoning for Sequential Manipulation in Cluttered Environments. arXiv preprint arXiv:2603.02511.

主页： <>
原文： https://arxiv.org/pdf/2603.02511
代码、数据和视频： <>

系列文章：
请在 $《$ 文章 $》$ 专栏中查找

宇宙声明！

引用解析部分属于自我理解补充，如有错误可以评论讨论然后改正！

ABSTRACT

杂乱环境中的机器人操作是自动化领域面临的一个关键挑战。近年来的大规模端到端模型展现出了令人印象深刻的能力，但它们通常缺乏在密集杂乱环境中取回目标物体所需要的数据效率和模块化能力。在这项工作中，我们主张采用一种专门化、解耦式系统的范式，并提出了 Unveiler，这是一个明确将高层空间推理与低层动作执行分离开的框架。 Unveiler 的核心是一个轻量级的、基于 Transformer 的空间关系编码器，Spatial Relationship Encoder，SRE，它会按顺序识别最关键、最需要被移除的障碍物。随后，这个离散决策会被传递给一个具有旋转不变性的动作解码器，Action Decoder，用于执行具体动作。我们证明，这种解耦架构不仅在参数数量和推理时间方面具有更高的计算效率，而且在从密集杂乱环境中取回目标物体的任务上，也显著优于经典端到端策略和现代基于大模型的基线方法。 SRE 的训练分为两个阶段：首先，通过从启发式示范中进行模仿学习，获得具有样本效率的初始化；之后，再通过 PPO 微调，使策略能够在密集杂乱环境中发现超过启发式方法本身的移除策略。我们的结果表明，在仿真中，系统在部分遮挡场景下最高达到 97.6% 的成功率，在完全遮挡场景下达到 90.0% 的成功率，这证明了专门化的、以物体为中心的推理能力在复杂操作任务中的有效性。此外，我们还证明，SRE 的空间推理能力可以零样本迁移到真实场景中，并且在真实物理机器人上验证了完整系统；整个过程只需要进行几何工作空间标定，不需要重新训练任何已学习的组件。

实验

我们在仿真环境和真实世界环境中评估我们的系统，以检验它从杂乱场景中取回被遮挡目标物体的有效性。该评估旨在回答以下问题：

(i) 在不同杂乱程度下，Unveiler 能够多有效地取回目标物体？
(ii) 与强基线方法相比，Unveiler 的表现如何？
(iii) 它对未见过条件的泛化能力如何？
(iv) 每个架构组件分别会产生什么影响？

A. 基线方法

我们将 Unveiler 与以下用于杂乱场景中物体取回和操作任务的先进基线方法进行比较：Target-Conditioned PPG [3]、Heur，即用于训练 Unveiler 的启发式策略、ACT [31]、CLIP-Grounding [9]、GPT-4o [5]、VILG [8] 和 ThinkGrasp [10]。

B. 评估指标

我们使用两个互补的指标来评估系统，这两个指标分别反映规划质量和执行鲁棒性：

任务完成率，Task Completion Rate，%：在测试 episode 中，机器人成功取回目标物体的比例。
动作效率，Action Efficiency，Steps：机器人平均执行的动作数量，包括障碍物移除动作和最后的抓取动作。

这两个指标结合起来，可以从整体上反映系统性能，既覆盖了高层空间推理能力，也就是通过编码器预测体现出来的能力，也覆盖了低层操作鲁棒性，也就是通过解码器执行体现出来的能力。

C. 计算效率分析

如 Table I 所示，Unveiler 实现了很强的计算效率。这些结果突出表明，Unveiler 通过将空间推理与动作生成分离，避免了端到端方法带来的额外开销，从而保持了接近实时的效率，并能够部署在资源受限的机器人系统上。

在这里插入图片描述

D. 仿真实验

在这里插入图片描述图 3. 展示目标物体不同遮挡程度的示例场景。左图：目标物体被部分遮挡，仍然有一部分表面区域可见。右图：目标物体被完全遮挡，被周围物体完全覆盖，在输入视角中无法被直接看到。

我们通过在来自 YCB [32] 和 KIT [33] 数据集的不同尺度物体上进行测试，验证了系统的鲁棒性；结果表明，该系统在不同物体尺寸分布下都能保持一致的性能。我们将物体划分为两个集合，即 seen 集合和 unseen 集合；其中一个用于训练，即 seen，另一个用于评估，即 unseen。 Table II 中的每一种条件下，每个方法都评估 30 个 episode。

我们的评估结果，见 Table II，表明 Unveiler 在不同场景复杂度下都保持了更优的性能，并且相比基线方法展现出更高效的规划能力。除了其他方法之外，我们还选择 VILG [8] 和 ThinkGrasp [10] 作为基线方法，因为它们代表了近期一些基于视觉的、用于杂乱环境抓取的最新方法。 VILG 将视觉、语言和动作联合整合在一起，并且不依赖手工设计的 grounding 规则，因此它与我们关注的关系推理问题高度相关。 ThinkGrasp 利用 GPT-4o 进行障碍物选择和部件级抓取，从而直接处理序列式物体移除问题，这与 Unveiler 所解决的核心挑战非常接近。结果揭示了三个关键发现：第一，在所有条件下，Unveiler 始终需要更少的规划步骤，平均为 1.17 到 3.71 步；相比之下，基线方法在复杂场景中通常超过 4 步以上。这种效率优势在杂乱环境中尤为明显，因为 PPG 和 VILG 等方法由于移除顺序决策并非最优，通常需要明显更多的步骤。第二，虽然随着杂乱程度和遮挡程度增加，所有方法的性能都会下降，但 Unveiler 表现出更强的鲁棒性；在最具挑战性的场景中，也就是 9 到 12 个物体且目标完全遮挡的情况下，Unveiler 仍然保持了 53.8% 的成功率，而大多数基线方法下降到 35% 以下，其中一些方法完全失败，ACT 和 PPG 没有完成任何任务。第三，结果揭示了不同方法各自的局限性：GPT-4o 由于其预测结果与最优移除顺序之间存在不匹配，表现出规划效率不足，在密集场景中最多需要 4.22 步；而启发式基线方法虽然在低杂乱条件下具有合理的任务完成率，但随着场景复杂度增加，其性能会显著失败。这些结果验证了 Unveiler 的核心贡献：它能够有效推理障碍物移除顺序，并且这种能力在从简单到复杂的各种场景复杂度下，都转化为更高的任务完成率和更高效的规划。

在这里插入图片描述

E. 空间推理与可解释性分析

在这里插入图片描述图 4. 带有选择概率的场景叠加图。目标物体用红色轮廓标出，被选中的障碍物用绿色标出。

Figure 4 中的选择概率可视化表明，SRE 学会了基于空间关系来识别最优障碍物，而不是仅仅根据与目标物体的简单距离来做选择。该模型会持续避免选择那些由于工作空间边界或相邻物体影响而难以抓取的物体，并且对可能因移除某个物体而导致场景不稳定的连锁效应表现出敏感性。这些具有可解释性的选择概率为决策过程提供了透明性，而在一些需要理解机器人推理过程的应用中，这一点非常关键。

F. 消融实验

为了理解 Unveiler 中各个组件的贡献，我们进行了一系列消融实验，结果展示在 Table III 中。

在这里插入图片描述

不使用 RL 微调的 SRE：如果只使用 SRE 而不进行 RL 微调，系统性能相比完整的 Unveiler 系统低 3.3%，这证实了 RL 能够发现启发式监督器无法提供的策略。
无 SRE：移除空间关系编码器后，在完全遮挡场景下任务完成率下降 13.6%，而在部分遮挡场景下性能略微提升 3.4%；这说明 SRE 在复杂场景中具有关键作用。
多障碍物选择：一次性预测所有可移除障碍物会使性能下降，在部分遮挡场景中下降 25.2%，在完全遮挡场景中下降 33.3%；这证明了序列推理的重要性。
二值掩码输入：用二值掩码替代包含丰富信息的物体裁剪图，会导致显著性能下降，在部分遮挡场景中下降 42.1%，在完全遮挡场景中下降 53.3%；这验证了详细视觉表示的重要性。

这些研究确认了每个架构组件都对整体性能具有实际贡献，移除这些组件会导致可以测量到的性能下降。

G. 真实机器人演示

在这里插入图片描述图 1. 通过策略性移除障碍物来显露被遮挡的目标物体。给定一个包含形状和颜色相似物体的杂乱场景，我们的方法会识别必须移除哪些障碍物，以及应按照什么顺序移除，才能接近目标物体，即蓝色物体；在动作执行之前，先解决空间推理问题。

我们在一台配备平行夹爪的 Dofbot-Pro 机械臂上验证了我们的系统，如 Figure 1 所示。感知系统由一台经过标定的 Intel RealSense 相机组成，该相机安装在机器人底座上方，能够提供分辨率为 480 × 640 的自上而下 RGB-D 数据。

该架构的特性有助于实现零样本迁移。首先，两个组件都基于深度高度图而不是 RGB 图像运行，从而消除了颜色和纹理带来的领域偏移。其次，部署时使用的自上而下相机几何结构与仿真器中的设置相匹配，因此保留了空间尺度和质心坐标的一致性。第三，Action Decoder 的旋转不变预测会在 16 个方向上进行聚合，使抓取动作能够对仿真物体摆放和真实物体摆放之间的小位姿偏差保持鲁棒。高度图直接由安装在机器人底座上的单个自上而下 Intel RealSense 相机生成。虽然这种设置相比仿真中使用的双相机配置会提供不够完整的 3D 点云，因为双相机配置能够减轻机器人手臂自身遮挡问题，但如 Table IV 所示，我们的策略在真实世界实验中仍然优于其他方法。唯一的真实世界适配是对工作空间边界进行一次性几何重新标定，使其对应真实桌面的范围；没有任何已学习组件被重新训练或微调。关键的是，机械臂运动学只被编码在这些非学习得到的边界中，而不是编码在策略本身中；因此，从 Barrett hand 切换到 Dofbot-Pro 不会给 SRE 引入领域差距。这证实了仿真高度图与真实物理高度图之间的领域差距并不会显著降低性能。

在这里插入图片描述

H. 真实图像上的场景推理评估

为了将 SRE 的空间推理能力与执行过程中的噪声分离开来，我们直接在 35 个真实的自上而下桌面场景中评估物体选择准确率。鉴于该系统采用因式分解架构，这种解耦式评估是很自然的：SRE 的离散输出可以独立于任何真实机械臂进行评估。

结果展示在 Table IV 中。在稀疏场景中，也就是有 2 到 4 个物体的场景中，CLIP-Grounding 的表现与 SRE 接近，因为当遮挡有限时，仅依靠外观相似性就已经足够。在更密集的场景中，也就是有 5 到 8 个物体的场景中，SRE 的准确率为 54%，显著优于 CLIP-Grounding 的 37% 和 GPT-4o 的 26%；这证实了 SRE 在杂乱场景中的优势来自对遮挡和外围区域的几何推理，而不是外观相似性。这些结果证实，学习得到的空间推理能力可以在没有任何微调的情况下迁移到真实场景中。

VII. CONCLUSION

我们提出了 Unveiler，这是一个解耦式框架，用于杂乱环境中的长时程物体操作任务，它将空间推理与动作执行分离开来。不同于基于距离接近程度的方法，我们的方法通过推理物体尺寸、抓取可达性、工作空间边界以及连锁稳定性影响，来识别最优的障碍物移除顺序，从而在复杂场景中实现更加鲁棒的操作规划。

我们的关键发现有四个方面：SRE 的序列决策机制能够有效建模复杂的物体依赖关系，从而支持长时程空间推理；我们的轻量级架构，83.03M 个参数，能够以接近实时的推理速度，约 260ms，达到最先进的性能；可解释的障碍物选择过程提供了关键的透明性。在最困难的条件下，RL 微调相比仅使用 IL 的基线方法进一步提升了性能，这证实了该策略并不受限于训练时所使用的启发式方法。

Unveiler 的空间推理能力可以作为 VLA 模型的补充：它既可以作为面向杂乱操作场景的专门数据生成器，也可以作为模块化的空间推理组件，用于提升 VLA 模型在复杂序列任务上的表现。专门化、以物体为中心的推理所展示出的有效性表明，面向特定任务设计的架构仍然具有持续的重要性，并为在资源受限的机器人系统上部署复杂操作能力提供了一条路径。