[论文解读] Pose Estimation for Texture-less Shiny Objects in a Single RGB Image Using Synthetic Training Data

Chen Chen, Xin Jiang+2 more|arXiv (Cornell University)|Sep 23, 2019

Industrial Vision Systems and Defect Detection参考文献 25被引用 6

一句话总结

该论文提出了一种新颖的6D姿态估计方法，用于无纹理反光金属零件，利用合成RGB数据和密集边缘关键点。通过结合Mask R-CNN进行检测、堆叠沙漏网络进行关键点回归，以及反射感知的姿态优化流程，该方法在仅依赖合成训练数据的情况下，仍实现了真实场景下的高精度性能，展示了在具有反射和遮挡的复杂工业场景中的鲁棒性。

ABSTRACT

In the industrial domain, the pose estimation of multiple texture-less shiny parts is a valuable but challenging task. In this particular scenario, it is impractical to utilize keypoints or other texture information because most of them are not actual features of the target but the reflections of surroundings. Moreover, the similarity of color also poses a challenge in segmentation. In this article, we propose to divide the pose estimation process into three stages: object detection, features detection and pose optimization. A convolutional neural network was utilized to perform object detection. Concerning the reliability of surface texture, we leveraged the contour information for estimating pose. Since conventional contour-based methods are inapplicable to clustered metal parts due to the difficulties in segmentation, we use the dense discrete points along the metal part edges as semantic keypoints for contour detection. Afterward, we exploit both keypoint information and CAD model to calculate the 6D pose of each object in view. A typical implementation of deep learning methods not only requires a large amount of training data, but also relies on intensive human labor for labeling the datasets. Therefore, we propose an approach to generate datasets and label them automatically. Despite not using any real-world photos for training, a series of experiments showed that the algorithm built on synthetic data perform well in the real environment.

研究动机与目标

• 解决在工业环境中对无纹理反光金属零件进行6D姿态估计的挑战，传统基于纹理的方法因反射和低对比度而失效。
• 开发一种自动化管道，用于生成大规模、完全标注的合成数据集，以消除对昂贵的真实世界数据采集和人工标注的需求。
• 通过引入反射感知的渲染和关键点重估策略，减轻相互反射伪影的影响，提升在密集金属零件场景中的姿态估计精度。
• 验证仅在合成数据上训练的模型能否有效泛化到真实世界的工业环境，特别是在具有挑战性的光照和遮挡条件下。

提出的方法

• 使用Blender生成了带有随机背景、光照和物体姿态的密集金属零件的合成RGB图像，以模拟真实世界中的变化。
• 在合成数据上训练基于Mask R-CNN的网络，以检测单个金属零件，输出边界框和实例掩码。
• 将CAD模型边缘上的密集3D关键点投影到图像上，并用于训练堆叠沙漏网络，以回归图像中的2D关键点位置。
• 引入了一种反射感知的姿态优化策略：在检测并估计出高置信度零件的姿态后，使用OpenDR重新渲染其2D投影以掩蔽其反射，从而在重叠或反光的零件上实现更准确的关键点检测。
• 使用PnP算法结合从检测关键点和CAD模型得到的加权2D-3D对应关系进行姿态优化，并利用重投影误差选择最佳姿态候选。
• 整个流程按顺序执行：物体检测 → 关键点检测 → 反射感知优化 → 姿态优化，置信度分数指导处理顺序。

实验结果

研究问题

• RQ1 仅在合成RGB数据上训练的深度学习模型，能否在真实世界工业环境中实现对无纹理反光金属零件的鲁棒6D姿态估计？
• RQ2 在关键点检测和姿态估计过程中，如何减轻密集金属零件之间的相互反射影响以提升精度？
• RQ3 在簇状金属零件中，选择和处理金属零件的最优策略是什么，以最小化由重叠反射和部分遮挡引起的姿态估计误差？
• RQ4 密集边缘关键点在高度反光、无纹理物体中，能在多大程度上替代基于纹理的特征用于姿态估计？
• RQ5 自动化合成数据生成与标注能否消除在6D物体姿态估计中对昂贵的人工标注真实世界数据集的需求？

主要发现

• 该模型仅使用合成训练数据，即在真实场景中实现了对无纹理反光金属零件的精确6D姿态估计，展示了强大的泛化能力。
• 反射感知优化过程显著减少了由相互反射引起的虚假关键点检测，提升了在重叠零件上的姿态估计精度。
• 堆叠沙漏网络成功地从金属零件上的密集边缘点回归出2D关键点，即使在高反射性和低纹理区域也表现良好。
• 在合成数据上使用Mask R-CNN进行物体检测，实现了可靠的实例级检测，输出边界框和掩码，为下游任务奠定了坚实基础。
• 每张图像的总处理时间约为1.2秒用于检测，0.5秒用于关键点预测，姿态优化时间低于0.3秒，使该流程适用于实时工业应用。