[论文解读] Real-Time Seamless Single Shot 6D Object Pose Prediction

Bugra Tekin, Sudipta N. Sinha+1 more|arXiv (Cornell University)|Nov 24, 2017

Advanced Neural Network Applications参考文献 31被引用 15

一句话总结

本文提出一种实时、单阶段深度卷积神经网络（CNN），用于6D物体位姿估计，直接预测3D物体包围盒顶点在2D图像中的投影，从而通过PnP算法无需后处理即可实现精确的位姿估计。该方法在Titan X（Pascal）GPU上实现50–94 fps的推理速度，相比以往基于CNN的方法在速度和精度上均有提升，且无需使用详细的3D模型或后续优化步骤。

ABSTRACT

We propose a single-shot approach for simultaneously detecting an object in an RGB image and predicting its 6D pose without requiring multiple stages or having to examine multiple hypotheses. Unlike a recently proposed single-shot technique for this task (Kehl et al., ICCV'17) that only predicts an approximate 6D pose that must then be refined, ours is accurate enough not to require additional post-processing. As a result, it is much faster - 50 fps on a Titan X (Pascal) GPU - and more suitable for real-time processing. The key component of our method is a new CNN architecture inspired by the YOLO network design that directly predicts the 2D image locations of the projected vertices of the object's 3D bounding box. The object's 6D pose is then estimated using a PnP algorithm. For single object and multiple object pose estimation on the LINEMOD and OCCLUSION datasets, our approach substantially outperforms other recent CNN-based approaches when they are all used without post-processing. During post-processing, a pose refinement step can be used to boost the accuracy of the existing methods, but at 10 fps or less, they are much slower than our method.

研究动机与目标

• 解决移动设备和可穿戴设备中仅使用RGB图像进行实时6D物体位姿估计的需求。
• 克服基于关键点的方法在弱纹理或低分辨率物体上的局限性。
• 消除基于CNN的6D位姿估计中多阶段流水线或后处理优化步骤的需求。
• 通过避免推理时间随物体数量线性增长，实现可扩展的实时性能，适用于多物体检测。
• 通过仅使用3D包围盒进行训练，降低对精确、纹理丰富的3D物体模型的依赖。

提出的方法

• 提出一种受YOLO启发的单阶段CNN架构，回归3D物体包围盒顶点在2D图像中的坐标。
• 端到端训练网络，仅使用3D包围盒标注，联合完成物体检测与6D位姿预测。
• 使用高效的PnP算法，从预测的3D框角点2D投影中计算6D位姿。
• 在训练过程中采用多尺度训练，随机调整输入分辨率，以支持可变分辨率的推理。
• 通过从其他序列中裁剪物体样本增强训练数据，提升模型泛化能力，尤其在遮挡情况下的表现。
• 通过确保内在高精度，避免位姿优化步骤，从而无需依赖详细的3D纹理模型。

实验结果

研究问题

• RQ1 单阶段CNN是否能够足够准确地预测6D物体位姿，从而无需后处理优化？
• RQ2 与多阶段或优化驱动的方法相比，该方法在标准基准上的速度和精度表现如何？
• RQ3 该方法在不显著增加运行时间的前提下，能够多大程度地扩展到多物体检测？
• RQ4 在不依赖详细3D模型的前提下，该方法如何处理弱纹理或被遮挡的物体？
• RQ5 在实时部署中，输入分辨率、精度与推理速度之间的权衡关系如何？

主要发现

• 在LineMod数据集上，使用688×688输入分辨率时，该方法在43 fps下实现90.65%的位姿估计精度（基于2D投影误差）。
• 在544×544分辨率下，该方法在Titan X（Pascal）GPU上实现90.37%的精度，推理速度达50 fps。
• 在Occlusion数据集上，该方法的平均精度（mAP）达到0.48，优于[8]、[11]和[2]等先前方法，且无需后处理。
• 检测多个物体时，运行时间几乎保持不变，而SSD-6D的运行时间随物体数量线性增长，因此在大规模场景下显著更快。
• 在416×416分辨率下，该方法达到94 fps，精度仅比更高分辨率下降1%，展现出优异的效率-精度权衡。
• 该方法在LineMod数据集上实现了最先进精度，且无需位姿优化或详细3D纹理模型，仅依赖3D包围盒进行训练。