[论文解读] Primitive Shape Recognition for Object Grasping

Yunzhi Lin, Chao Tang+3 more|arXiv (Cornell University)|Jan 4, 2022

Robot Manipulation and Learning被引用 4

一句话总结

该论文提出了一种基于分割的深度学习流水线 PS-CNN，将深度图像中的家用物体分解为基本形状（例如，圆柱体、细长杆等），以实现鲁棒且具有形状感知能力的机器人抓取。通过利用合成数据和针对每种形状的参数化抓取族，该方法在无任务抓取中实现了 94.2% 的成功率，在有任务抓取中实现了 93.0% 的成功率，表明显式的基本形状识别显著提升了抓取的可靠性与泛化能力。

ABSTRACT

Shape informs how an object should be grasped, both in terms of where and how. As such, this paper describes a segmentation-based architecture for decomposing objects sensed with a depth camera into multiple primitive shapes, along with a post-processing pipeline for robotic grasping. Segmentation employs a deep network, called PS-CNN, trained on synthetic data with 6 classes of primitive shapes and generated using a simulation engine. Each primitive shape is designed with parametrized grasp families, permitting the pipeline to identify multiple grasp candidates per shape region. The grasps are rank ordered, with the first feasible one chosen for execution. For task-free grasping of individual objects, the method achieves a 94.2% success rate placing it amongst the top performing grasp methods when compared to top-down and SE(3)-based approaches. Additional tests involving variable viewpoints and clutter demonstrate robustness to setup. For task-oriented grasping, PS-CNN achieves a 93.0% success rate. Overall, the outcomes support the hypothesis that explicitly encoding shape primitives within a grasping pipeline should boost grasping performance, including task-free and task-relevant grasp prediction.

研究动机与目标

• 探究在抓取流水线中显式编码基本形状是否能提升抓取性能。
• 开发一种基于分割的架构，利用深度学习将物体分解为多种基本形状。
• 通过将特定形状的抓取族与分割区域关联，实现无任务和有任务抓取。
• 通过使用合成训练数据进行基本形状检测，减少数据效率低下和标注负担。
• 通过提升对视角变化和杂乱环境的泛化能力与鲁棒性，改善真实世界中机器人抓取的性能。

提出的方法

• 在模拟引擎生成的 6 种基本形状类别（例如，圆柱体、球体、长方体）的合成深度图像上训练了一个深度实例分割网络 PS-CNN。
• 该流水线将输入的深度图像分割为不同的基本形状区域，并为每种类别提取点云。
• 针对每个分割后的形状，基于 RANSAC 的形状拟合模块会估计位姿和参数（例如，轴线、半径、长度），以恢复标准形状模型。
• 每种基本形状均关联一个参数化的抓取族，该抓取族根据形状几何结构生成密集的抓取候选。
• 通过学习的评分函数对抓取候选进行评分和排序，选择最可行的最优抓取执行。
• 系统集成了经典抓取规划与可行性检查，支持在真实机器人上执行。

实验结果

研究问题

• RQ1 与深度网络中隐式形状学习相比，显式的基本形状识别是否能提升机器人抓取的成功率？
• RQ2 基于分割的流水线在面对具有复杂或复合几何结构的新颖家用物体时，泛化能力如何？
• RQ3 该方法在视角变化和杂乱环境中，性能保持程度如何？
• RQ4 该流水线能否通过区分功能上有意义的物体部分（例如，把手与容器）来支持有任务抓取？
• RQ5 当物体并非纯粹单一基本形状时，该方法的性能如何随物体复杂度变化？

主要发现

• PS-CNN 流水线在无任务抓取中实现了 94.2% 的成功率，处于基准测试中的顶尖水平。
• 在最多包含 5 个物体的杂乱场景中，该方法保持了 93.5% 的抓取成功率和 100% 的任务完成率。
• 系统对视角变化表现出鲁棒性，在不同相机角度下均保持一致的性能表现。
• 在有任务抓取中，该方法实现了 93.0% 的成功率，与无任务设置相比仅下降 4%，显著优于早期版本中 19% 的性能下降。
• 由于训练数据和形状拟合的改进，PS-CNN v2 在区分复杂物体部件（如牙刷的把手和底座）方面优于 v1。
• 该方法从合成训练数据到真实世界物体表现出强大的泛化能力，即使物体并非纯粹的基本形状也适用。