[论文解读] Stereo Vision Based Single-Shot 6D Object Pose Estimation for Bin-Picking by a Robot Manipulator

Yoshihiro Nakano|arXiv (Cornell University)|May 28, 2020

Robot Manipulation and Learning参考文献 28被引用 4

一句话总结

本文提出了一种基于立体视觉的单次输入6D物体位姿估计算法，用于机器人料箱抓取，采用一种新颖的立体网格注意力模块，仅对检测到的物体进行视差计算，从而实现快速且精确的位姿估计。该方法在Jetson AGX Xavier上处理1024×1024图像仅需75ms，使用合成数据和真实世界测试（电磁夹爪）对直流电机零件的位姿估计成功率达到89.1%。

ABSTRACT

We propose a fast and accurate method of 6D object pose estimation for bin-picking of mechanical parts by a robot manipulator. We extend the single-shot approach to stereo vision by application of attention architecture. Our convolutional neural network model regresses to object locations and rotations from either a left image or a right image without depth information. Then, a stereo feature matching module, designated as Stereo Grid Attention, generates stereo grid matching maps. The important point of our method is only to calculate disparity of the objects found by the attention from stereo images, instead of calculating a point cloud over the entire image. The disparity value is then used to calculate the depth to the objects by the principle of triangulation. Our method also achieves a rapid processing speed of pose estimation by the single-shot architecture and it is possible to process a 1024 x 1024 pixels image in 75 milliseconds on the Jetson AGX Xavier implemented with half-float model. Weakly textured mechanical parts are used to exemplify the method. First, we create original synthetic datasets for training and evaluating of the proposed model. This dataset is created by capturing and rendering numerous 3D models of several types of mechanical parts in virtual space. Finally, we use a robotic manipulator with an electromagnetic gripper to pick up the mechanical parts in a cluttered state to verify the validity of our method in an actual scene. When a raw stereo image is used by the proposed method from our stereo camera to detect black steel screws, stainless screws, and DC motor parts, i.e., cases, rotor cores and commutator caps, the bin-picking tasks are successful with 76.3%, 64.0%, 50.5%, 89.1% and 64.2% probability, respectively.

研究动机与目标

• 在杂乱料箱抓取场景中，利用立体视觉实现快速且精确的6D物体位姿估计。
• 通过仅对检测到的物体进行视差计算而非整幅图像，降低计算成本。
• 开发一种单次输入的深度学习框架，从左或右单张立体图像直接回归位姿，无需深度图输入。
• 利用合成数据集和真实世界机器人操作，在弱纹理机械零件上验证该方法。
• 实现实时性能，适用于Jetson AGX Xavier等边缘设备部署。

提出的方法

• 卷积神经网络从单张左或右立体图像直接回归6D物体位姿（位置与姿态），无需依赖深度图。
• 注意力机制识别显著的物体区域，仅将视差计算限制在这些区域，以提升效率。
• 立体网格注意力模块生成立体网格匹配图，仅对检测到的物体计算视差。
• 通过三角测量原理将视差值转换为深度，实现3D位姿估计。
• 构建了一个包含3D机械零件模型在虚拟环境中渲染的合成数据集，用于训练与评估。
• 将该方法部署于配备电磁夹爪的机器人操作臂上，完成真实世界中的料箱抓取任务。

实验结果

研究问题

• RQ1 单次输入的立体视觉方法是否能在杂乱料箱抓取环境中实现精确的6D物体位姿估计？
• RQ2 基于注意力的视差计算是否能通过仅聚焦于检测到的物体来显著提升效率？
• RQ3 合成数据是否能有效训练模型，以实现对弱纹理机械零件的真实世界料箱抓取？
• RQ4 该方法在Jetson AGX Xavier等边缘硬件上的实时性能如何？
• RQ5 该方法在真实场景中对具有不同纹理与形状的多样化机械零件表现如何？

主要发现

• 在Jetson AGX Xavier上，使用半精度模型处理1024×1024像素立体图像仅需75毫秒。
• 系统在杂乱料箱中抓取黑色钢制螺钉的成功率为76.3%。
• 不锈钢螺钉的抓取成功率在64.0%。
• 直流电机外壳零件抓取成功率为50.5%，转子铁芯为89.1%，换向器端帽为64.2%。
• 使用合成数据有效支持了对弱纹理机械零件的真实世界部署训练。
• 基于注意力的视差计算显著降低了处理负载，避免了全图视差估计。