[论文解读] Optimal Feature Transport for Cross-View Image Geo-Localization

Yujiao Shi, Xin Yu+3 more|arXiv (Cornell University)|Jul 11, 2019

Advanced Image and Video Retrieval Techniques参考文献 32被引用 12

一句话总结

本文提出跨视角特征迁移（Cross-View Feature Transport, CVFT），一种可微分的神经网络模块，通过学习基于熵正则化最优传输的领域特定迁移矩阵，显式对齐地面视角与航拍图像之间的特征。通过保留空间布局并减小域间差异，CVFT在CVUSA数据集上的top-1召回率达到61.43%，top-10召回率达到90.49%，显著优于先前的最先进方法，在跨视角图像地理定位任务中表现优异。

ABSTRACT

This paper addresses the problem of cross-view image geo-localization, where the geographic location of a ground-level street-view query image is estimated by matching it against a large scale aerial map (e.g., a high-resolution satellite image). State-of-the-art deep-learning based methods tackle this problem as deep metric learning which aims to learn global feature representations of the scene seen by the two different views. Despite promising results are obtained by such deep metric learning methods, they, however, fail to exploit a crucial cue relevant for localization, namely, the spatial layout of local features. Moreover, little attention is paid to the obvious domain gap (between aerial view and ground view) in the context of cross-view localization. This paper proposes a novel Cross-View Feature Transport (CVFT) technique to explicitly establish cross-view domain transfer that facilitates feature alignment between ground and aerial images. Specifically, we implement the CVFT as network layers, which transports features from one domain to the other, leading to more meaningful feature similarity comparison. Our model is differentiable and can be learned end-to-end. Experiments on large-scale datasets have demonstrated that our method has remarkably boosted the state-of-the-art cross-view localization performance, e.g., on the CVUSA dataset, with significant improvements for top-1 recall from 40.79% to 61.43%, and for top-10 from 76.36% to 90.49%. We expect the key insight of the paper (i.e., explicitly handling domain difference via domain transport) will prove to be useful for other similar problems in computer vision as well.

研究动机与目标

• 为解决现有深度度量学习方法在跨视角图像地理定位中的局限性，这些方法未能利用空间布局，且忽略了地面视角与航拍视角之间的域差距。
• 通过可学习的特征迁移机制显式建模地面视角与航拍图像之间的域偏移，以增强特征对齐。
• 通过在跨视角匹配过程中保留局部特征的空间结构，提升定位精度。
• 开发一种可微分、端到端可训练的模块，可无缝集成至现有的孪生CNN架构中。
• 在真实条件下（包括方向扰动）的大规模基准测试中展示优越性能。

提出的方法

• 该方法采用双分支孪生CNN，独立提取地面图像与航拍图像的特征。
• 引入跨视角特征迁移（CVFT）模块，利用可学习的迁移矩阵将一个域（如地面）的特征图转换到另一域（如航拍）。
• 通过应用于熵正则化最优传输问题的可微分Sinkhorn-Knopp算法优化迁移矩阵，实现端到端训练。
• CVFT层基于空间对应关系重新排列特征，使特征在特征空间中对齐，从而提升相似性匹配效果。
• 整个网络通过对比损失进行端到端训练，以最小化正样本对之间的距离，同时最大化负样本对之间的距离。
• 在迁移后的特征中保留了空间结构信息，使其在定位任务中更具判别性。

实验结果

研究问题

• RQ1 通过显式特征迁移实现域自适应，是否能超越标准深度度量学习方法，在跨视角地理定位中取得更优性能？
• RQ2 在视角和外观差异较大的情况下，保留特征中的空间布局信息对定位精度有何影响？
• RQ3 所提出的CVFT模块在多大程度上减小了地面图像与航拍图像之间的域差距？
• RQ4 该方法对查询图像中常见的方向错位问题具有多强的鲁棒性？
• RQ5 CVFT框架是否能泛化至大规模、城市级别的地理定位任务？

主要发现

• 在CVUSA数据集上，所提方法实现了61.43%的top-1召回率，相比之前最先进方法绝对提升20.64%。
• 在CVUSA数据集上，top-10召回率达到90.49%，相比第二好的方法提升14.09%。
• 在大规模CVACT_test数据集上，与第二好的方法相比，top-1召回率提升了28.87%，展现出在真实世界城市级定位任务中的强大性能。
• 在±20°方向扰动条件下，该方法仍保持高性能，甚至在其他方法使用方向对齐数据测试时也表现更优。
• 定性结果表明，该方法能成功定位多样化的查询图像，包括郊区区域及具有重复结构的复杂城市交叉路口。
• 可视化结果显示，CVFT模块能有效对齐跨域的特征图，经迁移后的地面特征在空间布局和激活模式上与对应航拍特征高度匹配。