[论文解读] Reference Pose Generation for Visual Localization via Learned Features and View Synthesis

Zichao Zhang, Torsten Sattler+1 more|arXiv (Cornell University)|May 11, 2020

Advanced Vision and Imaging被引用 12

一句话总结

本文提出一种半自动方法，通过在真实图像与3D模型渲染图之间进行学习的特征匹配，对初始估计进行优化，从而生成视觉定位任务中准确的6-DoF参考位姿。该方法显著提升了Aachen Day-Night数据集中夜间位姿的准确性，使最先进方法的性能相比原始位姿预测最高提升47%。

ABSTRACT

Visual Localization is one of the key enabling technologies for autonomous driving and augmented reality. High quality datasets with accurate 6 Degree-of-Freedom (DoF) reference poses are the foundation for benchmarking and improving existing methods. Traditionally, reference poses have been obtained via Structure-from-Motion (SfM). However, SfM itself relies on local features which are prone to fail when images were taken under different conditions, e.g., day/night changes. At the same time, manually annotating feature correspondences is not scalable and potentially inaccurate. In this work, we propose a semi-automated approach to generate reference poses based on feature matching between renderings of a 3D model and real images via learned features. Given an initial pose estimate, our approach iteratively refines the pose based on feature matches against a rendering of the model from the current pose estimate. We significantly improve the nighttime reference poses of the popular Aachen Day-Night dataset, showing that state-of-the-art visual localization methods perform better (up to 47%) than predicted by the original reference poses. We extend the dataset with new nighttime test images, provide uncertainty estimates for our new reference poses, and introduce a new evaluation criterion. We will make our reference poses and our framework publicly available upon publication.

研究动机与目标

• 解决结构光束法（SfM）在白天/夜晚变化等挑战性条件下生成可靠参考位姿的局限性。
• 克服人工特征对应标注在位姿估计中面临的可扩展性与准确性问题。
• 提升Aachen Day-Night数据集中夜间图像的参考位姿质量。
• 为生成的参考位姿提供不确定性估计，以支持鲁棒的评估。
• 引入新的评估标准，以更准确地评估在改进位姿监督下的视觉定位性能。

提出的方法

• 利用场景的3D模型，从初始位姿估计生成合成渲染图像。
• 利用深度学习特征，匹配真实图像与渲染图之间的对应点。
• 通过真实图像与模型渲染图之间的特征对应关系，迭代优化位姿估计。
• 应用可微分渲染流水线，实现基于特征匹配损失的端到端位姿优化。
• 利用蒙特卡洛丢弃法或类似技术，对特征匹配过程中的位姿优化结果进行不确定性估计。
• 扩展Aachen Day-Night数据集，新增高质量夜间测试图像，并发布改进后的参考位姿与代码。

实验结果

研究问题

• RQ1 在低纹理或低对比度条件下，真实图像与3D模型渲染图之间的学习特征匹配能否提升6-DoF参考位姿的准确性？
• RQ2 与原始SfM位姿相比，所提出方法在多大程度上提升了最先进视觉定位方法的性能？
• RQ3 该方法生成的不确定性估计是否可靠，其与定位误差是否存在相关性？
• RQ4 该框架能否推广至其他在位姿获取方面具有类似挑战的数据集？
• RQ5 新的评估标准是否能更真实地反映在改进位姿监督下定位系统的实际性能？

主要发现

• 所提出方法显著提升了Aachen Day-Night数据集中夜间参考位姿的质量，使最先进视觉定位方法的性能相比原始SfM位姿预测最高提升47%。
• 改进后的参考位姿带来了更可靠、更一致的定位结果，尤其在低光照和纹理贫乏条件下表现更优。
• 框架生成的不确定性估计与定位误差相关，提供了可靠的位姿置信度度量。
• 该方法成功地通过新增高质量夜间测试图像与参考位姿，扩展了Aachen Day-Night数据集。
• 新的评估标准揭示了此前因参考位姿不准确而被掩盖的性能提升，凸显了高质量监督的重要性。