[论文解读] Object affordance as a guide for grasp-type recognition.

Naoki Wake, Daichi Saito+3 more|arXiv (Cornell University)|Feb 27, 2021

Robot Manipulation and Learning参考文献 46被引用 4

一句话总结

本文提出将物体功能（即每类物体可能的抓取类型）作为先验知识，引导基于卷积神经网络（CNN）的抓取类型识别。通过过滤不合理的抓取候选并突出可能的抓取类型，物体功能显著提升了识别准确率，尤其在抓取类型异质性较高的场景以及存在真实或错觉物体引起的视觉模糊情况下效果更明显。

ABSTRACT

Recognizing human grasping strategies is an important factor in robot teaching as these strategies contain the implicit knowledge necessary to perform a series of manipulations smoothly. This study analyzed the effects of object affordance-a prior distribution of grasp types for each object-on convolutional neural network (CNN)-based grasp-type recognition. To this end, we created datasets of first-person grasping-hand images labeled with grasp types and object names, and tested a recognition pipeline leveraging object affordance. We evaluated scenarios with real and illusory objects to be grasped, to consider a teaching condition in mixed reality where the lack of visual object information can make the CNN recognition challenging. The results show that object affordance guided the CNN in both scenarios, increasing the accuracy by 1) excluding unlikely grasp types from the candidates and 2) likely grasp types. In addition, the enhancing effect was more pronounced with high degrees of grasp-type heterogeneity. These results indicate the effectiveness of object affordance for guiding grasp-type recognition in robot teaching applications.

研究动机与目标

• 通过利用物体功能作为先验知识，提升机器人教学中的抓取类型识别性能。
• 解决在视觉物体信息缺失或模糊（如混合现实环境）时抓取识别面临的挑战。
• 评估物体功能是否能提升真实与错觉物体场景下基于CNN的抓取识别性能。
• 探究抓取类型异质性对功能引导识别有效性的影响力。

提出的方法

• 收集了以第一人称视角拍摄的抓取手势图像数据集，标注了抓取类型和物体名称。
• 使用收集的图像数据训练CNN进行抓取类型识别。
• 通过基于已知每类物体抓取可能性的预过滤，将物体功能整合到CNN输出候选中。
• 在真实物体和错觉物体（缺乏视觉线索）上评估系统，以模拟混合现实教学条件。
• 利用功能排除不合理的抓取类型，并在推理过程中优先考虑可能的抓取类型。
• 在不同抓取类型异质性程度下，对比有无功能引导的识别准确率。

实验结果

研究问题

• RQ1 物体功能如何影响基于CNN的抓取类型识别准确率？
• RQ2 当视觉物体信息缺失或模糊时，物体功能能否提升识别性能？
• RQ3 功能引导的有效性是否随每类物体的抓取类型异质性水平而变化？
• RQ4 功能在多大程度上减少了识别过程中的可能抓取类型搜索空间？

主要发现

• 物体功能通过从候选集中排除不合理的抓取类型，显著提升了抓取类型识别准确率。
• 通过强调可能的抓取类型，功能整合增强了识别性能，尤其在复杂场景中表现更优。
• 在抓取类型异质性较高的物体中，性能提升更为显著，表明在复杂识别任务中受益更大。
• 即使在缺乏视觉物体信息（如错觉物体场景）时，该方法依然有效，证明其在混合现实教学环境中的鲁棒性。