[论文解读] RoI-based Robotic Grasp Detection in Object Overlapping Scenes Using Convolutional Neural Network.

Hanbo Zhang, Xuguang Lan+2 more|arXiv (Cornell University)|Aug 30, 2018

Robot Manipulation and Learning参考文献 16被引用 13

一句话总结

本文提出一种基于感兴趣区域（RoI）的卷积神经网络（CNN）方法，用于在杂乱重叠物体场景中进行机器人抓取检测，通过联合检测目标及其抓取位置实现。该方法在新创建的多目标抓取数据集上实现了1 FPPI下24.0%的漏检率和70.5%的mAP，真实机器人实验中抓取成功率达到84%。

ABSTRACT

Grasp detection is an essential skill for widespread use of robots. Recent works demonstrate the advanced performance of Convolutional Neural Network (CNN) on robotic grasp detection. However, a significant shortcoming of existing grasp detection algorithms is that they all ignore the affiliation between grasps and targets. In this paper, we propose a robotic grasp detection algorithm based on Region of Interest (RoI) to simultaneously detect targets and their grasps in object overlapping scenes. Our proposed algorithm uses Regions of Interest (RoIs) to detect grasps while doing classification and location regression of targets. To train the network, we contribute a much bigger multi-object grasp dataset than Cornell Grasp Dataset, which is based on Visual Manipulation Relationship Dataset. Experimental results demonstrate that our algorithm achieves 24.0% miss rate at 1FPPI and 70.5% mAP with grasp on our dataset. Robotic experiments demonstrate that our proposed algorithm can help robots grasp specified target in multi-object scenes at 84% success rate.

研究动机与目标

• 为解决现有抓取检测方法忽略抓取与目标物体之间关系的局限性。
• 提升在复杂重叠多目标场景中的机器人抓取检测性能。
• 开发一种统一框架，利用RoI同时检测目标及其对应抓取位置。
• 基于视觉操作关系数据集创建并发布一个更大、更丰富的多目标抓取数据集，用于训练和评估。

提出的方法

• 该方法使用感兴趣区域（RoI）区域，同时执行目标分类、目标位置回归和抓取检测。
• 采用基于CNN的架构，端到端训练以预测每个RoI内的抓取候选、目标类别和边界框。
• 网络在新构建的多目标抓取数据集上进行训练，该数据集显著大于康奈尔抓取数据集。
• 该方法将抓取检测作为每个RoI内的回归任务进行整合，实现目标检测与抓取预测的联合优化。
• 训练数据源自视觉操作关系数据集，增强了物体交互的多样性与真实性。
• 模型利用区域建议网络生成RoI，随后对这些区域进行目标识别与抓取预测处理。

实验结果

研究问题

• RQ1 基于RoI的CNN框架能否有效检测重叠多目标场景中的目标与抓取？
• RQ2 所提方法在更大、更复杂的数据集上与现有抓取检测算法相比性能如何？
• RQ3 目标与抓取的联合检测在多大程度上提升了真实机器人系统中的抓取成功率？
• RQ4 该方法如何处理物体密集环境中的遮挡与杂乱问题？

主要发现

• 所提方法在新多目标抓取数据集上实现1 FPPI下24.0%的漏检率，表明检测性能优异。
• 模型在抓取检测任务上达到70.5%的平均精度均值（mAP），表明在新数据集上具有高精度。
• 机器人实验显示，在多目标场景中抓取指定目标的成功率达到84%，验证了其在真实场景中的适用性。
• 新创建的数据集显著大于康奈尔抓取数据集，有助于提升泛化能力与训练稳定性。
• 将抓取检测整合到RoI区域中，提升了检测的一致性，并减少了杂乱场景中的误报。
• 该方法在检测准确率和真实机器人抓取成功率方面均优于基线方法。