[论文解读] S4G: Amodal Single-view Single-Shot SE(3) Grasp Detection in Cluttered Scenes

Yuzhe Qin, Rui Chen+4 more|arXiv (Cornell University)|Oct 31, 2019

Robot Manipulation and Learning参考文献 32被引用 55

一句话总结

论文提出 S4G，是一个单-shot 6-DoF 抓取提议网络，从单视深度点云回归 SE(3) 抓取位姿，在合成混乱场景上训练，展示出优于最先进方法的性能。

ABSTRACT

Grasping is among the most fundamental and long-lasting problems in robotics study. This paper studies the problem of 6-DoF(degree of freedom) grasping by a parallel gripper in a cluttered scene captured using a commodity depth sensor from a single viewpoint. We address the problem in a learning-based framework. At the high level, we rely on a single-shot grasp proposal network, trained with synthetic data and tested in real-world scenarios. Our single-shot neural network architecture can predict amodal grasp proposal efficiently and effectively. Our training data synthesis pipeline can generate scenes of complex object configuration and leverage an innovative gripper contact model to create dense and high-quality grasp annotations. Experiments in synthetic and real environments have demonstrated that the proposed approach can outperform state-of-the-arts by a large margin.

研究动机与目标

• 在无需对象类别假设的前提下，利用单视深度传感器在混乱场景中解决 6-DoF 抓取问题。
• 开发一个单-shot 抓取提议网络，直接回归 SE(3) 抓取以提升效率和准确性。
• 创建一个物理上合理、密集的合成训练数据集，具有新颖的夹具接触模型。
• 通过无模态抓取预测和场景分析，确保对部分、带噪深度数据的鲁棒性。

提出的方法

• 提出一个基于 PointNet++ 的单-shot 抓取提议网络，为每个点分配一个 6-DoF 抓取位姿和一个质量分数。
• 用连续的 6D 旋转表示来表示 6-DoF 的旋转，并使用考虑夹具对称性的旋转损失。
• 开发一个使用力闭包概念的夹具接触模型，以生成对偶端点和基于占据的抓取分数。
• 在 MuJoCo+V-HACD 中合成物理上可信的混乱场景以创建真实的训练数据，并渲染带噪深度视图。
• 通过网络结合局部与全局几何来预测密集混乱场景中的无碰撞抓取，随后进行非极大值抑制和概率化抓取采样以执行。

实验结果

研究问题

• RQ1 单 shot 的 SE(3) 抓取检测器能否从单视、部分点云在混乱场景中预测可行且无碰撞的 6-DoF 抓取？
• RQ2 直接从场景数据回归抓取提议的学习是否在混乱和噪声条件下优于基于采样的方法？
• RQ3 具有真实夹具接触模型的合成数据在现实世界的混乱操作任务中如何泛化？
• RQ4 在密集场景中，与传统的 3/4-DoF 方法相比，6-DoF（SE(3)）抓取预测的影响有多大？

主要发现

• 该方法直接回归每个点的 6-DoF 抓取，在混乱场景下实现稳健的性能。
• 在仿真中，该方法在对偶端点分数和在噪声下的无碰撞抓取方面优于基线（如 GPD 变体和 PointNetGPD）。
• 机器人实验显示 S4G 的成功率和完成率更高（例如 77.1% 成功，92.5% 完成），推理速度也更快（每次抓取约 12.6 ms），相较于基线。
• 63.38% 的召回率表明在不同场景密度下，SE(3) 抓取相对于 3/4-DoF 抓取具有更强的能力。
• 该流程通过 NMS 和概率采样高效生成可执行的抓取，使在混乱环境中的实时或近实时操作成为可能。