[论文解读] PointNet++ Grasping: Learning An End-to-end Spatial Grasp Generation Algorithm from Sparse Point Clouds

Peiyuan Ni, Wenguang Zhang+2 more|arXiv (Cornell University)|Mar 21, 2020

Robot Manipulation and Learning参考文献 28被引用 6

一句话总结

该论文提出了一种端到端的深度学习方法 PointNet++ Grasping，可直接从稀疏点云中预测 6D 抓取位姿、类别和质量分数，无需抓取采样或搜索。通过使用 PointNet++ 主干网络结合多掩码损失和一种新型数据生成流程，该方法在新物体上的抓取成功率达到了 71.43%，完成率达到了 91.60%，优于当前最先进方法，且模型参数量仅为 11.6M，推理时间仅 102ms（在 GeForce 840M 上）。

ABSTRACT

Grasping for novel objects is important for robot manipulation in unstructured environments. Most of current works require a grasp sampling process to obtain grasp candidates, combined with local feature extractor using deep learning. This pipeline is time-costly, expecially when grasp points are sparse such as at the edge of a bowl. In this paper, we propose an end-to-end approach to directly predict the poses, categories and scores (qualities) of all the grasps. It takes the whole sparse point clouds as the input and requires no sampling or search process. Moreover, to generate training data of multi-object scene, we propose a fast multi-object grasp detection algorithm based on Ferrari Canny metrics. A single-object dataset (79 objects from YCB object set, 23.7k grasps) and a multi-object dataset (20k point clouds with annotations and masks) are generated. A PointNet++ based network combined with multi-mask loss is introduced to deal with different training points. The whole weight size of our network is only about 11.6M, which takes about 102ms for a whole prediction process using a GeForce 840M GPU. Our experiment shows our work get 71.43% success rate and 91.60% completion rate, which performs better than current state-of-art works.

研究动机与目标

• 消除机器人抓取流程中耗时的抓取采样和局部特征提取步骤。
• 实现在原始稀疏点云上直接、端到端地预测 6D 抓取位姿、类别和质量分数。
• 基于 Ferrari-Canny 指标，使用快速检测算法生成逼真的多物体抓取数据集。
• 开发一种轻量化、高效的网络架构，适用于实时机器人操作。
• 提升在真实场景中新型非结构化物体上的泛化能力和性能。

提出的方法

• 该方法采用 PointNet++ 主干网络，端到端处理整个稀疏点云，无需任何采样或搜索步骤。
• 引入多掩码损失以监督抓取预测的不同部分，提升定位精度。
• 使用基于 Ferrari-Canny 指标的快速多物体抓取检测算法，生成带有掩码和标注的合成训练数据。
• 网络在单物体数据集（79 个 YCB 物体，23.7k 次抓取）和多物体数据集（20k 个带掩码的点云）上进行训练。
• 模型在一次前向传播中预测抓取候选的 6D 位姿（3D 位置，3D 方向）、抓取类别和质量分数。
• 整个网络仅包含 11.6M 个参数，可在 GeForce 840M GPU 上实现约 102ms 的推理时间。

实验结果

研究问题

• RQ1 端到端的深度学习模型能否绕过传统的抓取采样和特征提取步骤，直接从稀疏点云中预测 6D 抓取位姿？
• RQ2 多掩码损失在基于点云的抓取任务中，对提升抓取定位和质量预测的效率有多高？
• RQ3 基于快速度量的合成数据生成流程能否生成逼真的多物体场景，以训练鲁棒的抓取网络？
• RQ4 与当前最先进方法相比，该方法在新物体上的成功率和完成率表现如何？
• RQ5 该模型在推理时间与模型大小方面，是否具备实时机器人部署的高效性？

主要发现

• 该模型在新物体抓取任务中实现了 71.43% 的成功率，优于当前最先进方法。
• 该方法的完成率达到 91.60%，表明其在生成有效抓取候选方面具有高度可靠性。
• 在 GeForce 840M GPU 上，该网络的推理时间仅为每帧点云 102ms，证明了其具备实时可行性。
• 模型仅 11.6M 个参数的紧凑结构，使其能够在资源受限的平台上高效部署。
• 多掩码损失的使用显著提升了抓取定位和质量预测的准确性。
• 合成数据生成流程使得在复杂多物体场景下进行有效训练成为可能，且标注准确。