[论文解读] Vision-based Robotic Grasping from Object Localization, Pose Estimation, Grasp Detection to Motion Planning: A Review.

Guoguang Du, Kai Wang+1 more|arXiv (Cornell University)|May 16, 2019

Robot Manipulation and Learning参考文献 82被引用 53

一句话总结

本综述通过系统分析视觉机器人抓取中的三个核心任务——目标定位、6D姿态估计和抓取检测——对基于视觉的机器人抓取进行了全面回顾。它采用RGB-D输入，评估了传统方法与基于深度学习的方法，突出展示了最先进方法，对比了基准数据集，并指出了端到端抓取系统中的关键挑战与未来研究方向。

ABSTRACT

This paper presents a comprehensive survey on vision-based robotic grasping. We conclude three key tasks during vision-based robotic grasping, which are object localization, object pose estimation and grasp estimation. In detail, the object localization task contains object localization without classification, object detection and object instance segmentation. This task provides the regions of the target object in the input data. The object pose estimation task mainly refers to estimating the 6D object pose and includes correspondence-based methods, template-based methods and voting-based methods, which affords the generation of grasp poses for known objects. The grasp estimation task includes 2D planar grasp methods and 6DoF grasp methods, where the former is constrained to grasp from one direction. These three tasks could accomplish the robotic grasping with different combinations. Lots of object pose estimation methods need not object localization, and they conduct object localization and object pose estimation jointly. Lots of grasp estimation methods need not object localization and object pose estimation, and they conduct grasp estimation in an end-to-end manner. Both traditional methods and latest deep learning-based methods based on the RGB-D image inputs are reviewed elaborately in this survey. Related datasets and comparisons between state-of-the-art methods are summarized as well. In addition, challenges about vision-based robotic grasping and future directions in addressing these challenges are also pointed out.

研究动机与目标

• 提供基于视觉的机器人抓取中三个基本任务——目标定位、6D物体姿态估计和抓取估计——的结构化概述。
• 分析并比较每项任务中传统方法与基于深度学习的方法，使用RGB-D图像输入。
• 总结现有数据集，并对目标定位、姿态估计和抓取检测中先进方法的性能进行基准测试。
• 识别基于视觉的机器人抓取中持续存在的挑战，并为提升鲁棒性与泛化能力提出未来研究方向。
• 阐明任务之间的相互依赖关系，特别是当目标定位、姿态估计与抓取检测联合或端到端执行时。

提出的方法

• 将目标定位划分为三个子任务：无分类定位、目标检测和实例分割，以识别目标物体区域。
• 在三种范式下回顾6D物体姿态估计方法：基于对应关系的方法、基于模板的方法和基于投票的方法，用于生成适合抓取的姿态。
• 将抓取估计分为2D平面抓取（单方向约束）和6自由度（6DoF）抓取（全空间自由度），并分析其各自的方法论路径。
• 评估每项任务的传统与基于深度学习的模型，强调能够有效处理RGB-D数据的网络架构与框架。
• 在多任务学习与端到端方法中整合目标定位、姿态估计与抓取检测，实现无需独立流水线的联合优化。
• 使用标准化基准与公开可用的数据集对比方法，突出在准确性、速度与泛化能力之间的性能权衡。

实验结果

研究问题

• RQ1 不同的目标定位技术——检测、分割与无分类定位——如何影响下游抓取性能？
• RQ2 在6D物体姿态估计中，基于对应关系、基于模板和基于投票的方法各自具有哪些优势与局限性？
• RQ3 2D平面抓取与6DoF抓取估计方法在实际约束下的适用性与性能表现有何不同？
• RQ4 跳过独立的目标定位与姿态估计阶段的端到端方法，如何提升抓取效率与鲁棒性？
• RQ5 尽管深度学习与传感器融合技术取得进展，基于视觉的机器人抓取中仍有哪些关键挑战尚未解决？

主要发现

• 许多最先进的抓取估计方法采用端到端方式，无需显式的目标定位与姿态估计阶段。
• 姿态估计方法通常将定位与姿态估计集成于单一流水线中，提升了效率并减少了误差传播。
• 基于深度学习的目标定位与抓取检测方法在性能上显著优于传统方法，尤其在杂乱环境中的表现。
• 使用RGB-D数据可实现更精确的深度感知定位与抓取规划，尤其在6DoF抓取估计中优势明显。
• 尽管已有进展，跨物体类别泛化、实时推理，以及在遮挡与光照变化下的鲁棒性仍面临挑战。
• 在标准化数据集上的基准测试揭示了方法间的一致性能差距，尤其在少样本与零样本泛化场景下更为显著。