[论文解读] REGNet: REgion-based Grasp Network for End-to-end Grasp Detection in Point Clouds

Binglei Zhao, Hanbo Zhang+4 more|arXiv (Cornell University)|Feb 28, 2020

Robot Manipulation and Learning参考文献 42被引用 4

一句话总结

REGNet 是一种端到端的、基于区域的抓取检测网络，通过处理单视角点云来预测杂乱环境中的 3D 抓取。它采用三阶段流程——置信度评分网络（Score Network）用于预测置信度，抓取区域网络（Grasp Region Network）结合抓取锚点生成候选区域，以及优化网络（Refine Network）用于提升精度——在真实机器人实验中实现了 79.34% 的成功率和 96% 的完成率，优于 GPD、PointNetGPD 和 S⁴G 等 SOTA 方法。

ABSTRACT

Reliable robotic grasping in unstructured environments is a crucial but challenging task. The main problem is to generate the optimal grasp of novel objects from partial noisy observations. This paper presents an end-to-end grasp detection network taking one single-view point cloud as input to tackle the problem. Our network includes three stages: Score Network (SN), Grasp Region Network (GRN), and Refine Network (RN). Specifically, SN regresses point grasp confidence and selects positive points with high confidence. Then GRN conducts grasp proposal prediction on the selected positive points. RN generates more accurate grasps by refining proposals predicted by GRN. To further improve the performance, we propose a grasp anchor mechanism, in which grasp anchors with assigned gripper orientations are introduced to generate grasp proposals. Experiments demonstrate that REGNet achieves a success rate of 79.34% and a completion rate of 96% in real-world clutter, which significantly outperforms several state-of-the-art point-cloud based methods, including GPD, PointNetGPD, and S4G. The code is available at https://github.com/zhaobinglei/REGNet_for_3D_Grasping.

研究动机与目标

• 解决在非结构化、杂乱环境中，基于部分且带噪声的点云观测实现可靠机器人抓取的挑战。
• 克服现有方法依赖启发式采样、Darboux 框架估计或单点特征（形状感知能力差）的局限性。
• 实现在无需 3D 物体模型或大量真实世界数据的前提下，从单视角点云端到端进行抓取检测。
• 通过基于区域的特征聚合与基于锚点的候选优化，提升在密集杂乱环境中的抓取检测精度与鲁棒性。
• 实现从合成数据训练到真实世界机器人部署在新型、未见过的物体上的强泛化能力。

提出的方法

• 使用 PointNet++ 从单视角点云中提取初始特征。
• 采用置信度评分网络（Score Network, SN）为每个点预测抓取置信度，并选择高置信度正样本点作为抓取候选点。
• 应用抓取区域网络（Grasp Region Network, GRN），在选定点周围构建局部抓取区域，以聚合更丰富的空间与几何上下文信息，从而提升单点特征表示的性能。
• 引入一种抓取锚点机制，结合预定义的夹爪朝向，以生成更精确的抓取候选，相比无锚点方法显著提升了定位精度。
• 利用优化网络（Refine Network, RN）融合来自抓取区域与候选区域的特征，以优化初始候选，提升抓取质量与稳定性。
• 使用包含无碰撞抓取与抓取质量评分的合成数据集进行端到端训练，实现零样本迁移至真实世界场景。

实验结果

研究问题

• RQ1 基于区域的、端到端的深度学习方法是否能在杂乱场景中，以更高的成功率与鲁棒性超越现有的基于点云的抓取检测方法？
• RQ2 与单点特征回归相比，引入包含空间上下文的抓取区域在多大程度上提升了抓取检测性能？
• RQ3 具有预定义朝向的抓取锚点机制在多大程度上提升了 3D 抓取检测中候选定位的精度？
• RQ4 在初始候选生成后，专用的优化网络是否显著提升了抓取质量与成功率？
• RQ5 仅在合成数据上训练的模型是否能有效泛化至真实世界机器人抓取任务，适用于新型、未见过的物体？

主要发现

• REGNet 在 Baxter 机器人上使用双指平行颚夹爪进行真实世界实验，实现了 79.34% 的成功率与 96% 的完成率，显著优于 GPD（45.87%）、PointNetGPD（49.06%）和 S⁴G（76.67%）。
• 消融实验表明，若移除抓取区域特征，性能显著下降，证明其在通过增强局部特征聚合提升抓取检测性能方面具有关键作用。
• 抓取锚点机制对性能贡献显著，与无锚点基线相比，碰撞避免率与对置分数均有明显提升。
• 当引入优化网络（RN）时，碰撞避免率提升了 1.96%，证明其在优化低质量候选方面的有效性。
• 在 XYZ 坐标之外引入 RGB 特征可进一步提升性能，相比仅使用 XYZ 特征，碰撞避免率与对置分数均有所提高。
• 尽管仅在合成数据上进行训练，REGNet 仍成功泛化至真实世界场景，展现出强大的零样本迁移能力，适用于杂乱环境中新型物体的抓取。