[论文解读] Semantic Image Based Geolocation Given a Map

Arsalan Mousavian, Jana Košecká|arXiv (Cornell University)|Sep 1, 2016

Advanced Image and Video Retrieval Techniques参考文献 18被引用 19

一句话总结

本文提出了一种新颖的方法，利用2D地图和稀疏的地理标记参考视图，实现基于语义图像的地理定位。通过结合基于外观的建筑识别与来自建筑立面和地图数据的3D几何约束，该方法计算出一个概率姿态似然图，显著提升了仅依赖几何方法的定位精度，尤其在标准视场角图像的低重叠场景下表现更优。

ABSTRACT

The problem visual place recognition is commonly used strategy for localization. Most successful appearance based methods typically rely on a large database of views endowed with local or global image descriptors and strive to retrieve the views of the same location. The quality of the results is often affected by the density of the reference views and the robustness of the image representation with respect to viewpoint variations, clutter and seasonal changes. In this work we present an approach for geo-locating a novel view and determining camera location and orientation using a map and a sparse set of geo-tagged reference views. We propose a novel technique for detection and identification of building facades from geo-tagged reference view using the map and geometry of the building facades. We compute the likelihood of camera location and orientation of the query images using the detected landmark (building) identities from reference views, 2D map of the environment, and geometry of building facades. We evaluate our approach for building identification and geo-localization on a new challenging outdoors urban dataset exhibiting large variations in appearance and viewpoint.

研究动机与目标

• 解决在稀疏、非重叠的参考视图和有限视场角查询图像下，城市环境中图像地理定位的挑战。
• 在传统三角测量因缺乏多个重叠视图而不可行时，提升定位精度。
• 利用公开的地图数据（例如OpenStreetMap）和建筑立面的3D几何信息，增强姿态估计。
• 开发一种概率框架，融合外观匹配、建筑身份识别与几何约束，实现鲁棒的地理定位。
• 实现在查询图像与参考图像之间视觉重叠极低的情况下，仍能实现精确的定位。

提出的方法

• 该方法首先利用地图数据和建筑立面的几何约束，对一组稀疏的地理标记参考视图估计相机朝向。
• 通过地图辅助的几何信息和外观匹配，在参考图像中执行语义分割和建筑识别。
• 对于查询图像，利用词袋视觉特征（BoW）检索相似的参考视图，并通过基于外观的匹配推断建筑身份。
• 利用单目重建技术，从单个查询视图中计算出3D几何特征，以估计立面几何结构和朝向。
• 通过概率模型，结合外观匹配、建筑身份识别与地图几何一致性的证据，计算姿态似然。
• 在10米间距的网格位置和每个位置120个朝向的范围内进行搜索，生成查询图像姿态的完整概率图。

实验结果

研究问题

• RQ1 当没有两个参考视图相互重叠时，稀疏的地理标记参考视图与2D地图的组合是否仍能实现对查询图像的精确地理定位？
• RQ2 与仅使用几何特征签名相比，引入建筑身份识别在标准视场角图像中能多大程度提升定位精度？
• RQ3 在缺乏密集视觉重叠的情况下，基于外观的建筑识别在多大程度上能增强姿态似然估计？
• RQ4 与依赖全景图或密集采样视图的现有方法相比，所提出方法的表现如何？
• RQ5 在建筑身份识别精度和定位性能方面，边缘化推理与贪婪分配相比有何影响？

主要发现

• 所提出的方法在使用边缘化分配时，实现了0.7627的像素级建筑识别准确率，与k=1时的监督真实值准确率0.7543非常接近。
• 对于k=8，无监督的边缘化分配实现了81.77%的像素级准确率，优于贪婪分配（81.44%），并接近监督基线（82.54%）。
• 结合几何特征签名与建筑身份识别的定位方法，相比仅使用几何特征签名，平均定位误差降低了最多30%，如图9所示。
• 该方法生成的姿态概率图能够捕捉多个可能的位置，有效缓解了在对称或重复性城市环境中的定位模糊性。
• 与贪婪选择相比，边缘化推理在建筑身份估计上表现更优，k=1时准确率相对提升了1.5%。
• 该方法在标准视场角图像上显著优于仅依赖几何的方法，表明仅靠几何特征签名在这些场景下不足以实现可靠的定位。