[论文解读] VIGOR: Cross-View Image Geo-localization beyond One-to-one Retrieval

Sijie Zhu, Taojiannan Yang+1 more|arXiv (Cornell University)|Nov 24, 2020

Advanced Image and Video Retrieval Techniques参考文献 27被引用 8

一句话总结

本文提出了 VIGOR，一个在真实条件下进行跨视角图像地理定位的大规模基准，其中查询图像与参考图像未完全对齐。该研究提出了一种端到端的粗到细框架，采用新颖的 IOU 基础混合损失，有效利用多个半正样本参考图像，在标准检索之外显著提升了米级定位精度。

ABSTRACT

Cross-view image geo-localization aims to determine the locations of street-view query images by matching with GPS-tagged reference images from aerial view. Recent works have achieved surprisingly high retrieval accuracy on city-scale datasets. However, these results rely on the assumption that there exists a reference image exactly centered at the location of any query image, which is not applicable for practical scenarios. In this paper, we redefine this problem with a more realistic assumption that the query image can be arbitrary in the area of interest and the reference images are captured before the queries emerge. This assumption breaks the one-to-one retrieval setting of existing datasets as the queries and reference images are not perfectly aligned pairs, and there may be multiple reference images covering one query location. To bridge the gap between this realistic setting and existing datasets, we propose a new large-scale benchmark -- VIGOR -- for cross-View Image Geo-localization beyond One-to-one Retrieval. We benchmark existing state-of-the-art methods and propose a novel end-to-end framework to localize the query in a coarse-to-fine manner. Apart from the image-level retrieval accuracy, we also evaluate the localization accuracy in terms of the actual distance (meters) using the raw GPS data. Extensive experiments are conducted under different application scenarios to validate the effectiveness of the proposed method. The results indicate that cross-view geo-localization in this realistic setting is still challenging, fostering new research in this direction. Our dataset and code will be released at \url{https://github.com/Jeff-Zilence/VIGOR}

研究动机与目标

• 解决现有单对单图像匹配基准与真实世界地理定位场景之间的差距，即查询图像与参考图像未完全对齐的问题。
• 开发一个更实用的基准，支持任意查询位置和预先捕获的参考图像，反映真实世界部署条件。
• 实现不仅在图像级别检索精度上的评估，也基于原始 GPS 数据在实际米级定位精度上的评估。
• 提出一种新颖的联合检索与校准框架，提升定位精度，超越标准检索方法。
• 在存在噪声 GPS 条件下验证方法的鲁棒性，模拟真实世界导航挑战。

提出的方法

• 提出 VIGOR，一个大规模数据集，包含来自美国四个城市的 90,618 幅航拍图像和 238,696 幅街景图像，捕捉了真实且未对齐的查询-参考图像对。
• 设计了一个两阶段端到端框架：首先通过特征匹配检索最相关的航拍图像，然后在检索到的图像内回归偏移量以实现细粒度定位。
• 提出一种基于 IOU 的混合损失，结合检索与偏移预测的监督信号，在训练过程中有效利用半正样本参考图像。
• 采用基于回归的偏移预测方法，在 10×10 网格上优化定位，相比分类方法在米级精度上表现更优。
• 在预处理阶段采用样本平衡策略，确保航拍图像中正样本分布的一致性，提升训练稳定性。
• 通过模拟最大 ±100m 的偏移并限制在局部子区域中搜索，验证方法在噪声 GPS 条件下的性能，证明其在实际导航中的实用性。

实验结果

研究问题

• RQ1 在查询图像与参考图像未完全对齐的真实场景中，跨视角地理定位能否实现高精度？
• RQ2 联合检索与校准框架在超越图像级别检索的基础上，能否显著提升定位精度？
• RQ3 一种利用多个半正样本参考图像的混合损失，是否能提升模型泛化能力与定位精度？
• RQ4 与原始 GPS 信号相比，所提出方法在噪声 GPS 条件下能否显著降低定位误差？
• RQ5 偏移预测方法的选择（回归 vs. 分类）对细粒度定位精度有何影响？

主要发现

• 在相同区域设置下，所提方法的 top-1 检索准确率达到 41.1%，top-5 准确率达到 65.9%，在 200m 搜索范围内，10 米级定位准确率达到 37.7%。
• 基于回归的偏移预测方法将 10 米级定位准确率几乎提高了一倍，优于仅检索或基于分类的方法。
• 基于 IOU 的混合损失显著提升了性能，尤其在非对齐设置下有效利用了半正样本。
• 在 200m 搜索范围和噪声 GPS 条件下，方法实现了 60.9% 的 top-1 和 90.6% 的 top-5 检索准确率，远超原始 GPS 信号。
• 在相同区域评估中，该框架在 30 米级定位上准确率超过 70%，展现出在辅助导航中的强大实用潜力。
• 每张航拍图像设置 3 个正样本的样本平衡策略相比 2 个正样本略有性能提升，且在各类设置中提升效果一致。