[论文解读] SHREC 2020 Track: 6D Object Pose Estimation

Honglin Yuan, Remco C. Veltkamp+4 more|arXiv (Cornell University)|Jan 1, 2020

Robotics and Sensor-Based Localization被引用 3

一句话总结

本文提出了一种新型基准，采用物理上准确的模拟器生成高分辨率、照片级真实感的彩色与深度图像对，并附带真实6D姿态标注，用于6D物体位姿估计。该基准包含400张合成训练图像和100张真实-合成测试图像，涵盖8种不同物体，表明同时充分利用颜色与几何特征的方法在反光、无纹理及遮挡物体上表现出更优的鲁棒性。

ABSTRACT

6D pose estimation is crucial for augmented reality, virtual reality, robotic manipulation and visual navigation. However, the problem is challenging due to the variety of objects in the real world. They have varying 3D shape and their appearances in captured images are affected by sensor noise, changing lighting conditions and occlusions between objects. Different pose estimation methods have different strengths and weaknesses, depending on feature representations and scene contents. At the same time, existing 3D datasets that are used for data-driven methods to estimate 6D poses have limited view angles and low resolution. To address these issues, we organize the Shape Retrieval Challenge benchmark on 6D pose estimation and create a physically accurate simulator that is able to generate photo-realistic color-and-depth image pairs with corresponding ground truth 6D poses. From captured color and depth images, we use this simulator to generate a 3D dataset which has 400 photo-realistic synthesized color-and-depth image pairs with various view angles for training, and another 100 captured and synthetic images for testing. Five research groups register in this track and two of them submitted their results. Data-driven methods are the current trend in 6D object pose estimation and our evaluation results show that approaches which fully exploit the color and geometric features are more robust for 6D pose estimation of reflective and texture-less objects and occlusion. This benchmark and comparative evaluation results have the potential to further enrich and boost the research of 6D object pose estimation and its applications.

研究动机与目标

• 解决在真实条件下6D物体位姿估计缺乏全面、高质量基准的问题。
• 克服现有数据集的局限性，如视图角度受限、分辨率低以及标注成本高等问题。
• 提供一个物理上准确的模拟器，以生成照片级真实感、高分辨率的彩色与深度图像对，并附带精确的6D姿态标注。
• 实现对数据驱动的6D位姿估计方法在具有挑战性的物体类别（如反光和无纹理物体）上的系统性评估。
• 通过统一的评估指标和多样化的测试场景（包括真实图像与合成图像），促进不同方法之间的比较。

提出的方法

• 采用基于深度图像的渲染（DIBR）技术，合成高分辨率（1280×720）的照片级真实感彩色与深度图像对，并附带精确的6D姿态标注。
• 开发一个物理上准确的模拟器，通过建模真实的光照、物体尺度和场景上下文，以最小化现实差距。
• 生成包含400对合成图像的训练数据集，覆盖多样的视角和物体配置。
• 构建一个测试数据集，结合100张真实拍摄图像与100张合成图像，以评估方法在不同域之间的泛化能力。
• 应用多种评估指标——ADD（3D点平均距离）与重投影误差——评估8种物体类别下的位姿精度。
• 采用最先进的6D位姿估计模型（DenseFusion、ASS3D、GraphFusion）进行对比评估与消融研究。

实验结果

研究问题

• RQ1 不同6D位姿估计方法在包含高分辨率、照片级真实感合成与真实图像的基准上表现如何？
• RQ2 融合颜色与几何特征对无纹理和反光物体的位姿精度有何影响？
• RQ3 迭代位姿优化如何影响6D位姿估计的精度与推理速度？
• RQ4 在合成数据上训练的方法在真实世界拍摄图像上的泛化能力如何？
• RQ5 单阶段与多阶段6D位姿估计网络在计算效率与位姿精度之间存在何种权衡？

主要发现

• 执行迭代位姿优化的DenseFusion与GraphFusion在精度上显著优于非优化方法，尤其在低ADD阈值下表现更优。
• 以重投影误差衡量，GraphFusion在位姿精度上优于其他方法，表明早期融合策略有效建模了RGB与深度特征之间的相关性。
• ASS3D实现了最快的推理速度——比GraphFusion快4倍以上，同时在无纹理和深色物体上保持了强劲性能。
• 充分结合颜色与几何特征的方法（如GraphFusion）在遮挡、低纹理和反光表面条件下比依赖像素级融合或多模态监督的方法更具鲁棒性。
• 该基准表明，通过真实模拟器生成的合成数据可实现有效的域泛化，如合成数据到真实图像的零样本迁移成功所示。
• 尽管性能优异，当前数据集仍存在局限性，包括对高度反光物体覆盖不足、极端遮挡情况有限以及深度图精度有限，提示未来仍有扩展空间。