[论文解读] Simple, Effective and General: A New Backbone for Cross-view Image Geo-localization

Yingying Zhu, Hongji Yang+2 more|arXiv (Cornell University)|Feb 3, 2023

Advanced Image and Video Retrieval Techniques被引用 11

一句话总结

本论文提出 SAIG，一种轻量、基于注意力的跨视角地理定位骨干网络，使用卷积干线、多头自注意力以及简单的时空混合特征聚合，在参数显著更少的情况下取得具竞争力的结果。

ABSTRACT

In this work, we aim at an important but less explored problem of a simple yet effective backbone specific for cross-view geo-localization task. Existing methods for cross-view geo-localization tasks are frequently characterized by 1) complicated methodologies, 2) GPU-consuming computations, and 3) a stringent assumption that aerial and ground images are centrally or orientation aligned. To address the above three challenges for cross-view image matching, we propose a new backbone network, named Simple Attention-based Image Geo-localization network (SAIG). The proposed SAIG effectively represents long-range interactions among patches as well as cross-view correspondence with multi-head self-attention layers. The "narrow-deep" architecture of our SAIG improves the feature richness without degradation in performance, while its shallow and effective convolutional stem preserves the locality, eliminating the loss of patchify boundary information. Our SAIG achieves state-of-the-art results on cross-view geo-localization, while being far simpler than previous works. Furthermore, with only 15.9% of the model parameters and half of the output dimension compared to the state-of-the-art, the SAIG adapts well across multiple cross-view datasets without employing any well-designed feature aggregation modules or feature alignment algorithms. In addition, our SAIG attains competitive scores on image retrieval benchmarks, further demonstrating its generalizability. As a backbone network, our SAIG is both easy to follow and computationally lightweight, which is meaningful in practical scenario. Moreover, we propose a simple Spatial-Mixed feature aggregation moDule (SMD) that can mix and project spatial information into a low-dimensional space to generate feature descriptors... (The code is available at https://github.com/yanghongji2007/SAIG)

研究动机与目标

• 提出对简单但有效的跨视角地理定位骨干的需求，放宽严格对齐假设。
• 介绍 SAIG，一个轻量级架构，结合卷积干线、多头自注意力，以及全局池化/特征聚合策略。
• 展示 SAIG 在显著更少的参数和计算需求下达到具竞争力或最先进的结果。
• 提出空间混合特征聚合（SMD）模块，以进一步提升跨视角描述符。
• 探索适用于一对多跨视角匹配的训练损失（半硬三元组和 InfoNCE），并展示其有效性。

提出的方法

• 通过卷积干线创建重叠的补丁嵌入并保持局部性。
• 多头自注意力层用以建模远程补丁关系，而不依赖于重型特征对齐模块。
• 在注意力块中去除 FFN 子层以减少参数并保持性能。
• 简单的空间混合特征聚合（SMD）模块，用于混合空间信息并投射到更高维度的描述符。
• 两种轻量级的 SAIG 变体（SAIG-S 11 层 SA、SAIG-D 22 层 SA）在窄深设计下。
• 训练损失包括带半硬挖掘的加权软边界三元损失和一对多场景的 InfoNCE 损失。

实验结果

研究问题

• RQ1 一个具有卷积干线和自注意力的简单通用骨干是否能够在不依赖重特征对齐模块的情况下达到或超过最先进的跨视角地理定位方法？
• RQ2 窄深的 SAIG 架构是否在减少参数和计算的同时提供强大性能？
• RQ3 轻量级的空间混合特征聚合（SMD）对描述符质量和跨视角匹配有何影响？
• RQ4 半硬三元损失和 InfoNCE 损失在此情境下的一对多跨视角匹配中的表现如何？
• RQ5 SAIG 的变体是否能良好迁移到除地理定位以外的图像检索基准？

主要发现

模型	骨干	维度	r@1 CVUSA	r@5 CVUSA	r@10 CVUSA	r@1% CVUSA	r@1 CVACT_val	r@5 CVACT_val	r@10 CVACT_val	r@1% CVACT_val
SAIG-S	SAIG-S	384	88.82	97.17	98.27	99.74	81.39	93.88	95.53	98.44
SAIG-D	SAIG-D	384	90.29	97.71	98.74	99.76	82.40	93.94	95.54	98.49
SAIG-S + SAM	SAIG-S	384	92.69	98.13	98.95	99.84	85.39	95.09	96.52	98.53
SAIG-D + SAM	SAIG-D	384	93.97	98.47	99.09	99.86	86.65	95.25	96.53	98.61

• SAIG 在六个跨视角基准上实现有利或具竞争力的性能，且仅使用了部分基线参数的 15.9%。
• SAIG-S 与 SAIG-D 提供模型规模与精度之间的权衡，通常 SAIG-D 提供更强的结果。
• 结合 SAM（Sharpness-Aware Minimization）进一步提升 SAIG 结果，例如 SAIG-D + SAM 在 CVUSA/CVACT 上达到更高的 r@1。
• 提出的 SMD 模块改进了性能，并提供了一个即插即用的替代传统池化方法。
• 针对一对多匹配而定制的损失函数（半硬三元和 InfoNCE）在相关数据集上优于普通三元损失。
• SAIG 在标准图像检索基准上表现具有竞争力，表明具有良好的泛化。