[论文解读] YOLOff: You Only Learn Offsets for robust 6DoF object pose estimation

Mathieu Gonzalez, Amine Kacete+2 more|arXiv (Cornell University)|Feb 3, 2020

Robotics and Sensor-Based Localization被引用 4

一句话总结

YOLOff 提出了一种基于混合数据驱动与几何流程的两阶段6DoF目标位姿估计方法：首先，卷积神经网络（CNN）从RGB-D图像中预测2D目标位置和3D关键点偏移量；其次，通过几何配准将预测的3D关键点与标准3D模型对齐，从而计算最终位姿。该方法在LineMod数据集上实现了优于当前最先进方法的鲁棒性与精度。

ABSTRACT

Estimating the 3D translation and orientation of an object is a challenging task that can be considered within augmented reality or robotic applications. In this paper, we propose a novel approach to perform 6 DoF object pose estimation from a single RGB-D image in cluttered scenes. We adopt an hybrid pipeline in two stages: data-driven and geometric respectively. The first data-driven step consists of a classification CNN to estimate the object 2D location in the image from local patches, followed by a regression CNN trained to predict the 3D location of a set of keypoints in the camera coordinate system. We robustly perform local voting to recover the location of each keypoint in the camera coordinate system. To extract the pose information, the geometric step consists in aligning the 3D points in the camera coordinate system with the corresponding 3D points in world coordinate system by minimizing a registration error, thus computing the pose. Our experiments on the standard dataset LineMod show that our approach more robust and accurate than state-of-the-art methods.

研究动机与目标

• 利用单张RGB-D图像提升复杂场景中的6DoF目标位姿估计性能。
• 解决在遮挡与视觉杂乱条件下实现精确且鲁棒的3D目标位姿估计的挑战。
• 开发一种结合深度学习进行关键点预测与几何配准进行位姿优化的混合方法。
• 在标准基准测试中，超越现有最先进方法在精度与鲁棒性方面的表现。

提出的方法

• 使用分类CNN从局部图像块中检测目标的2D位置。
• 使用回归CNN在相机坐标系中预测关键点相对于相机原点的3D偏移量。
• 应用局部投票机制聚合多个预测结果，以鲁棒地估计每个关键点的3D位置。
• 通过几何配准步骤最小化预测3D关键点与对应标准3D模型点之间的对齐误差，从而计算最终的6DoF位姿。
• 该流程结合了数据驱动的关键点预测与几何优化步骤，以提升位姿精度。
• 该方法利用RGB-D输入，通过深度信息提升3D定位精度与鲁棒性。

实验结果

研究问题

• RQ1 结合深度学习与几何优化的两阶段流程是否能提升复杂场景中的6DoF位姿估计性能？
• RQ2 从RGB-D图像中学习3D关键点偏移量与直接进行6DoF回归相比，在鲁棒性方面有何差异？
• RQ3 在存在噪声或遮挡的情况下，局部投票在多大程度上提升了3D关键点预测的可靠性？
• RQ4 与仅采用端到端学习相比，几何配准步骤是否显著提升了位姿估计精度？
• RQ5 在LineMod等标准基准测试中，所提出方法相对于最先进方法的表现如何？

主要发现

• YOLOff在LineMod基准数据集上的精度与鲁棒性均优于当前最先进方法。
• 局部投票的使用显著提升了回归CNN所预测3D关键点位置的可靠性。
• 在复杂环境中，数据驱动与几何方法相结合的混合流程优于纯端到端学习方法。
• 通过RGB-D输入整合深度信息，显著提升了3D定位精度并减少了位姿估计误差。
• 几何配准步骤有效降低了残差误差，通过将预测的3D关键点与标准3D模型点对齐。