[论文解读] Visual and Object Geo-localization: A Comprehensive Survey

Daniel J. Wilson, Xiaohan Zhang+2 more|arXiv (Cornell University)|Dec 30, 2021

Advanced Image and Video Retrieval Techniques被引用 8

一句话总结

本篇全面综述对视觉地理定位进行了详细分析，涵盖基于深度学习和跨视角方法的图像与目标地理定位。它评估了最先进方法，基于公开数据集进行基准测试，并强调了跨视角和基于Transformer的模型在提升定位精度与鲁棒性方面日益重要的作用。

ABSTRACT

The concept of geo-localization refers to the process of determining where on earth some `entity' is located, typically using Global Positioning System (GPS) coordinates. The entity of interest may be an image, sequence of images, a video, satellite image, or even objects visible within the image. As massive datasets of GPS tagged media have rapidly become available due to smartphones and the internet, and deep learning has risen to enhance the performance capabilities of machine learning models, the fields of visual and object geo-localization have emerged due to its significant impact on a wide range of applications such as augmented reality, robotics, self-driving vehicles, road maintenance, and 3D reconstruction. This paper provides a comprehensive survey of geo-localization involving images, which involves either determining from where an image has been captured (Image geo-localization) or geo-locating objects within an image (Object geo-localization). We will provide an in-depth study, including a summary of popular algorithms, a description of proposed datasets, and an analysis of performance results to illustrate the current state of each field.

研究动机与目标

• 提供关于视觉地理定位的全面、最新综述，涵盖图像与目标级别的定位。
• 分析基于深度学习的方法在地理定位中的演变与现状，特别是跨视角与基于Transformer的方法。
• 系统比较单视角、跨视角与目标地理定位子领域中现有算法、数据集与评估指标。
• 识别当前方法中的关键挑战与局限，如对手工设计特征的依赖以及生成对抗网络（GAN）的训练不稳定性。
• 通过突出尚未充分探索的领域，如自监督学习与对真实世界数据变化的鲁棒性，为未来研究提供指导。

提出的方法

• 将视觉地理定位划分为三个主要子领域：单视角、跨视角与目标地理定位。
• 回顾关键技术，包括用于特征学习的孪生网络、用于地标连接性的图模型，以及用于生成合成图像的生成对抗网络（GANs）。
• 分析用于目标地理定位的追踪方法、重识别方法与三角测量方法，强调其优势与局限。
• 使用标准指标（如top-k准确率、平均精度均值（mAP）和特定距离下的召回率）评估性能。
• 在UBER-NET、Mapillary与GPS-RetinaNet等公开数据集上比较方法，突出数据采集与评估协议的差异。
• 强调现代架构（如视觉Transformer）与自监督学习在提升特征表示与泛化能力方面的作用。

实验结果

研究问题

• RQ1 单视角、跨视角与目标地理定位方法之间的核心差异与权衡是什么？
• RQ2 基于深度学习的方法（尤其是孪生网络与GANs）相较于传统手工设计特征方法，在地理定位中如何实现改进？
• RQ3 追踪方法、重识别方法与三角测量方法在目标地理定位中的性能特征与局限性是什么？
• RQ4 评估指标与数据集设计如何影响地理定位研究中报告的性能？
• RQ5 未来方向（如自监督学习与视觉Transformer）中，哪些最具潜力推动该领域发展？

主要发现

• 跨视角地理定位方法（将地面视角查询与卫星参考图像匹配）在UBER-NET数据集上实现了最先进性能，mAP值超过0.92。
• 基于追踪的目标地理定位方法（如GPS-RetinaNet）在UBER-NET数据集上实现了5.81米的top-10准确率，展示了在目标级别定位中的高精度。
• 基于重识别的方法（如GeoGraph与Mapillary TLG）分别实现了0.924与0.882的mAP得分，表明在可获取同一目标多张图像时表现强劲。
• 基于三角测量的方法（如MRF）实现了高精度（交通灯的第95百分位误差为1.89米），但需要精确的相机参数，且对深度估计误差敏感。
• 使用GAN的生成模型在合成逼真地面视角图像用于训练方面展现出潜力，但存在训练不稳定性与模式崩溃问题。
• 视觉Transformer与自监督学习正成为提升特征学习的关键推动力，未来有望在地理定位系统中超越卷积神经网络。