[论文解读] University-1652: A Multi-view Multi-source Benchmark for Drone-based Geo-localization

Zhedong Zheng, Yunchao Wei+1 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Neural Network Applications参考文献 41被引用 9

一句话总结

本论文提出了University-1652，这是首个用于基于无人机的地理定位的多视角、多源基准数据集，包含1,652所大学建筑的合成无人机、卫星和地面视角图像。该数据集支持两项新任务——无人机视角目标定位与无人机导航，采用多分支卷积神经网络基线模型学习视角不变特征，在新旧基准上均实现了最先进性能，并展现出强大的泛化能力。

ABSTRACT

We consider the problem of cross-view geo-localization. The primary challenge of this task is to learn the robust feature against large viewpoint changes. Existing benchmarks can help, but are limited in the number of viewpoints. Image pairs, containing two viewpoints, e.g., satellite and ground, are usually provided, which may compromise the feature learning. Besides phone cameras and satellites, in this paper, we argue that drones could serve as the third platform to deal with the geo-localization problem. In contrast to the traditional ground-view images, drone-view images meet fewer obstacles, e.g., trees, and could provide a comprehensive view when flying around the target place. To verify the effectiveness of the drone platform, we introduce a new multi-view multi-source benchmark for drone-based geo-localization, named University-1652. University-1652 contains data from three platforms, i.e., synthetic drones, satellites and ground cameras of 1,652 university buildings around the world. To our knowledge, University-1652 is the first drone-based geo-localization dataset and enables two new tasks, i.e., drone-view target localization and drone navigation. As the name implies, drone-view target localization intends to predict the location of the target place via drone-view images. On the other hand, given a satellite-view query image, drone navigation is to drive the drone to the area of interest in the query. We use this dataset to analyze a variety of off-the-shelf CNN features and propose a strong CNN baseline on this challenging dataset. The experiments show that University-1652 helps the model to learn the viewpoint-invariant features and also has good generalization ability in the real-world scenario.

研究动机与目标

• 解决在训练视图有限的情况下，大规模视角差异下的跨视角地理定位挑战。
• 提出一种新型数据平台——无人机，与传统地面和卫星视角相比，可提供目标位置的全面、无遮挡视角。
• 构建一个支持多视角（无人机、卫星、地面）的基准数据集，支持超越标准图像检索的新任务。
• 提出一种可扩展的多源卷积神经网络基线模型，从三种不同图像源中学习视角不变特征。
• 证明所学习特征在标准基准（如牛津和巴黎）上的泛化能力，即使未进行微调也能表现良好。

提出的方法

• 利用Google Earth中的3D引擎，为每栋建筑合成54张不同高度和角度的无人机视角图像，模拟真实的无人机飞行路径。
• 从街景摄像头（如Google街景）收集地面视角图像，并从公开来源获取卫星图像，构建多源数据集。
• 设计一个具有共享特征提取和三元组损失的多分支孪生网络卷积神经网络，每个分支处理来自不同源（无人机、卫星、地面）的图像。
• 使用三元组损失训练模型，以最小化类内距离并最大化类间距离，覆盖不同视角和源。
• 支持两项新任务：(1) 无人机视角目标定位（从无人机图像中检索正确建筑），(2) 无人机导航（使用卫星查询引导无人机飞向目标）。
• 在University-1652和两视角基准CVUSA上评估模型，使用R@1、R@5和R@10等标准指标评估检索性能。

实验结果

研究问题

• RQ1 合成的无人机视角图像是否能有效弥合地面视角与卫星视角在地理定位任务中的视觉差异？
• RQ2 与双源基准相比，引入多源数据（无人机、卫星、地面）是否能提升视角不变特征的学习效果？
• RQ3 所提出的多分支卷积神经网络基线模型是否能在未进行微调的情况下，良好泛化到真实世界的小规模数据集（如牛津和巴黎）？
• RQ4 该模型在仅使用图像检索的情况下，对无人机视角目标定位和无人机导航等新任务的实现效果如何？
• RQ5 在迁移学习场景中，来自不同源（如地面、卫星、无人机）所学习的特征性能相对如何？

主要发现

• 所提出的多分支卷积神经网络基线模型在CVUSA基准上使用VGG-16主干网络时，R@1达到43.91%，优于先前方法如CVM-Net和Orientation。
• 在University-1652上训练的模型泛化能力良好：地面视角特征分支（$\mathcal{F}_{g}$）在巴黎数据集上达到28.77% AP，优于ImageNet预训练方法（6.77%）。
• 无人机视角特征分支（$\mathcal{F}_{s}$）在University-1652上表现强劲，表明合成无人机数据能有效捕捉视角不变表征。
• 将University-1652的特征迁移至ROxford和RParis数据集时，在中等和困难设置下均取得更高准确率，其中$\mathcal{F}_{g}$在RParis (M)和(RH)上分别达到24.24%和10.29% AP。
• 该模型展现出良好的可扩展性与灵活性，通过调整卷积神经网络分支数量，可轻松从两源扩展至三源，无需重构网络架构。
• 基线模型在CVUSA上达到91.78% R@Top1，即使未使用数据增强或特征集成技术，性能依然出色。