快速了解部分

基础信息(英文):

1.题目: AnyGrasp: Robust and Efficient Grasp Perception in Spatial and Temporal Domains
2.时间: 2023.06
3.机构: Shanghai Jiao Tong University
4.3个英文关键词: General grasping, dynamic grasping, AnyGrasp

1句话通俗总结本文干了什么事情

本文提出了一种名为AnyGrasp的系统,能让机器人像人一样快速、准确地抓取静止和移动的物体,且对深度相机的噪声不敏感。

研究痛点:现有研究不足 / 要解决的具体问题

现有方法要么只能抓静止物体,要么速度慢、生成的抓取姿势稀疏,且大多依赖昂贵的完美传感器数据,无法兼顾人类抓取所需的“快速、准确、灵活、连续”四大特性。

核心方法:关键技术、模型或研究设计(简要)

设计了一个几何处理模块(生成密集的7自由度抓取姿态)和一个时序关联模块(跟踪移动物体),并利用真实的带噪声数据进行训练,而非依赖仿真数据。

深入了解部分

作者想要表达什么

作者想表达通过在真实世界数据(而非纯仿真)上进行训练,并结合对物体重心(COG)的理解和时序上的姿态关联,可以构建一个既鲁棒又高效的通用抓取感知系统,使机器人在抓取能力上达到甚至在某些方面超越人类水平。

相比前人创新在哪里

  1. 首次实现了空间上密集、时序上连续的7自由度抓取姿态检测(统一系统)。
  2. 引入了物体“重心意识”来提升抓取后的稳定性。
  3. 证明了使用少量真实物体(144个)训练出的模型,其效果优于使用数千个模拟物体训练的模型,且对低质量深度相机的噪声鲁棒。

解决方法/算法的通俗解释

想象机器人眼睛(相机)看到一堆东西,系统第一步(几何处理)是瞬间在脑海中为场景里每一个可能抓的地方都打个分,算出成千上万个抓取方案;第二步(时序关联),如果物体在动,系统会像跟踪导弹一样,根据上一帧抓取的姿态特征,在下一帧里快速找到对应的姿态并更新方案,而不是每次都重新算。

解决方法的具体做法

  1. 几何处理模块:基于GSNet,输入单帧点云,预测密集的7-DoF抓取姿态(包含位置、旋转、宽度),并引入“稳定分数”(基于重心距离)和障碍物感知来筛选姿态。
  2. 时序关联模块:提取抓取姿态的几何和颜色特征,通过对比学习(Contrastive Learning)计算相邻帧间姿态的相似度(Correspondence Matrix),实现对移动物体的平滑跟踪。
  3. 后处理:进行显式的碰撞检测和夹爪中心化调整。

基于前人的哪些方法

主要基于作者之前的工作GraspNet-1Billion和GSNet(GraspSuctionNet),沿用了其端到端的密集预测思路,并在此基础上增加了时序跟踪模块和重心稳定性考量。

实验设置、数据、评估方式、结论

  1. 数据:使用144个真实物体训练(扩展自GraspNet),测试时使用了300+未见过的物体(包括日常用品、零食、玩具等)。
  2. 设置:静态实验使用UR5机械臂,动态实验使用Flexiv Rizon机械臂,对比了不同深度相机(RealSense D415/D435/L515)。
  3. 评估:采用“尝试中心成功率”(Attempt-centric Success Rate)和“物体中心成功率”(Object-centric Success Rate)。
  4. 结论:在清理料框任务中,AnyGrasp对300+未见物体的抓取成功率达到93.3%,与人类水平(93.9%)相当,且每小时可抓取900次以上;在动态场景(抓水中游动的机器鱼)中也达到了75.5%的成功率。

提到的同类工作

DexNet系列(Berkeley)、EGAD(Queensland)、Acronym(Washington)、GSNet(SJTU)、GraspNet-1Billion(SJTU)。

和本文相关性最高的3个文献

GraspNet-1Billion: A large-scale benchmark for general object grasping (SJTU, 2020) <2020.06>
Graspness discovery in clutters for fast and accurate grasp detection (SJTU, improved GSNet, 2021) <2021.10>
Learning ambidextrous robot grasping policies (Berkeley, 2019) <2019.01>

Logo

AtomGit 是由开放原子开源基金会联合 CSDN 等生态伙伴共同推出的新一代开源与人工智能协作平台。平台坚持“开放、中立、公益”的理念,把代码托管、模型共享、数据集托管、智能体开发体验和算力服务整合在一起,为开发者提供从开发、训练到部署的一站式体验。

更多推荐