[论文解读] Vision-based Robotic Grasp Detection From Object Localization, Object Pose Estimation To Grasp Estimation: A Review

Guoguang Du, Kai Wang+2 more|arXiv (Cornell University)|May 16, 2019

Robot Manipulation and Learning参考文献 134被引用 7

一句话总结

本综述通过系统分析三个核心任务——物体定位、6D物体位姿估计和基于RGB-D输入的抓取估计——对基于视觉的机器人抓取检测进行了全面回顾。比较了传统方法与基于深度学习的方法在这三项任务中的表现，突出介绍了端到端方法，并总结了该领域最先进的结果、数据集以及开放性挑战。

ABSTRACT

This paper presents a comprehensive survey on vision-based robotic grasp detection methods. We concluded three key tasks during robotic grasping, which are object localization, object pose estimation and grasp estimation. In detail, object localization task contains object localization without classification, object detection and object instance segmentation. This task provides the regions of the target object in the input data. Object pose estimation mainly refers to estimating the 6D object pose and includes correspondence-based methods, template-based methods and voting-based methods, which affords the generation of grasp poses. Grasp estimation includes 2D planar grasp methods and 6DoF grasp methods, where the former is constrained to grasp from one direction. All the above subtasks are reviewed with traditional methods and latest deep learning-based methods based on the RGB-D image inputs. These three subtasks could accomplish the robotic grasping task with different combinations. Some object pose estimation methods need not object localization, and they conduct object localization and object pose estimation jointly. Some grasp estimation methods need not object localization and object pose estimation, and they conduct grasp estimation in an end-to-end manner. These methods are reviewed elaborately in this survey and related datasets and comparisons between state-of-the-art methods are summarized. In addition, challenges about vision-based robotic grasping, and future directions in addressing these challenges are also pointed out.

研究动机与目标

• 提供基于视觉的机器人抓取检测的结构化概述，通过将其分解为三个关键任务：物体定位、物体位姿估计和抓取估计。
• 利用RGB-D图像输入，分析并比较各项子任务的传统方法与基于深度学习的方法。
• 识别方法论趋势，包括联合定位-位姿估计和端到端抓取预测，并评估其性能。
• 总结公开可用的数据集和该领域最先进方法的基准结果。
• 突出当前文献中识别出的持续性挑战，并提出未来研究方向。

提出的方法

• 将物体定位分为三类子类型：无分类定位、目标检测和实例分割，均旨在识别RGB-D数据中的物体区域。
• 将6D物体位姿估计方法划分为三类：基于对应关系的方法（如ICP、RANSAC）、基于模板的方法（如使用3D模型）和基于投票的方法（如Hough类方法），用于位姿回归。
• 将抓取估计分为2D平面抓取（单方向）和6自由度（6DoF）抓取（完整空间位姿），方法范围从传统几何方法到基于深度学习的回归方法。
• 分析端到端抓取检测方法，这些方法通过直接从输入图像预测抓取候选，绕过显式的定位和位姿估计阶段。
• 使用标准基准和数据集评估方法性能，比较不同场景下精度、推理速度和鲁棒性。
• 综合各项任务的研究发现，强调定位、位姿和抓取估计在完整机器人抓取流程中的相互作用。

实验结果

研究问题

• RQ1 在使用RGB-D数据时，传统方法与基于深度学习的方法在物体定位、位姿估计和抓取预测方面如何比较？
• RQ2 在机器人抓取中，模块化方法（分离的定位、位姿、抓取）与端到端抓取检测之间存在哪些权衡？
• RQ3 在6D物体位姿估计中，哪类方法——基于对应关系、基于模板还是基于投票——能达到最高精度？
• RQ4 2D平面抓取方法与6DoF抓取估计方法在性能和适用性上有哪些差异？
• RQ5 根据当前文献，视觉机器人抓取检测中的关键挑战和开放研究方向是什么？

主要发现

• 当有足够的训练数据时，基于深度学习的方法在物体定位、位姿估计和抓取预测方面显著优于传统方法。
• 端到端抓取检测方法减少了对中间阶段（如物体定位和位姿估计）的依赖，提高了在杂乱场景中的推理速度和鲁棒性。
• 当拥有精确的3D物体模型时，基于对应关系的方法（如使用RANSAC和ICP）在6D位姿估计中依然有效。
• 基于模板的方法在具有已知物体模型的受控环境中表现良好，但在遮挡和变化情况下表现不佳。
• 基于投票的方法对噪声和部分观测具有鲁棒性，使其适用于实际机器人应用。
• 尽管已有进展，但在跨物体类别泛化、处理遮挡以及在复杂场景中实现实时性能方面仍存在挑战。