[论文解读] Wide-Area Image Geolocalization with Aerial Reference Imagery

Scott Workman, Richard Souvenir+1 more|arXiv (Cornell University)|Oct 13, 2015

Advanced Image and Video Retrieval Techniques被引用 20

一句话总结

本文提出一种深度学习方法，通过使用跨视角训练在地面级图像与航空影像之间学习联合语义特征空间，实现大范围区域的图像地理定位。通过利用大规模配对图像数据集和多尺度卷积神经网络，该方法在基准数据集上实现了最先进性能，能够在从大陆尺度到城市尺度的地面查询中实现精确的定位。

ABSTRACT

We propose to use deep convolutional neural networks to address the problem of cross-view image geolocalization, in which the geolocation of a ground-level query image is estimated by matching to georeferenced aerial images. We use state-of-the-art feature representations for ground-level images and introduce a cross-view training approach for learning a joint semantic feature representation for aerial images. We also propose a network architecture that fuses features extracted from aerial images at multiple spatial scales. To support training these networks, we introduce a massive database that contains pairs of aerial and ground-level images from across the United States. Our methods significantly out-perform the state of the art on two benchmark datasets. We also show, qualitatively, that the proposed feature representations are discriminative at both local and continental spatial scales.

研究动机与目标

• 解决现有地理定位方法依赖稀疏地面级图像数据库的局限性，尤其是在农村或代表性不足区域的局限性。
• 通过学习地面级图像与正射校正航空影像之间的联合语义特征表示，提升跨视角图像地理定位性能。
• 开发一种可扩展的数据驱动方法，利用深度神经网络从航空影像中提取地理信息丰富的特征以实现定位。
• 创建并发布一个覆盖全美的大规模配对地面级与航空影像数据集，以支持训练与评估。
• 通过定性与定量评估，证明该方法在大陆尺度与细粒度空间尺度下的有效性。

提出的方法

• 该方法使用预训练的深度卷积神经网络（如 Places-Places）从地面级图像中提取高层语义特征。
• 提出一种跨视角训练策略，通过训练网络从同一位置的航空影像中预测地面级特征，以学习联合特征空间。
• 提出一种多尺度网络架构，以在不同空间分辨率下提取并融合航空影像特征，提升鲁棒性。
• 模型在大规模配对地面级与航空影像数据集上端到端训练，数据来源于美国的地理标签街景图像与高分辨率正射校正航空影像。
• 通过学习的表征计算查询图像特征与航空影像特征之间的特征距离，以估计地理位置。
• 在细粒度定位中采用滑动窗口方法，跨附近位置的网格计算特征相似性。

实验结果

研究问题

• RQ1 深度卷积神经网络能否有效学习地面级与航空影像之间的联合语义特征空间以实现地理定位？
• RQ2 与使用预训练模型或手工设计特征相比，跨视角训练是否能显著提升定位准确率？
• RQ3 所提出的方法是否能在大陆尺度与细粒度空间尺度下实现精确的定位？
• RQ4 航空影像网络中的多尺度特征融合如何影响地理定位基准测试的性能？
• RQ5 所提出的数据集是否足以训练出能在全美多样化地理区域泛化的模型？

主要发现

• 所提出的方法在两个跨视角地理定位基准数据集上实现了最先进性能，优于先前方法。
• 定性结果表明，所学习的特征在大陆尺度与城市尺度下均具有判别性，能正确识别沙漠、郊区和海岸线等区域。
• 该方法在细粒度空间尺度下成功实现图像定位，能够区分仅相距几十分米的地点，如足球场或独特的道路交叉口。
• 热力图可视化表明，即使查询图像未直接显示目标特征（如湖岸线但湖泊不可见），模型仍能正确识别可能的位置。
• 跨视角训练显著优于使用预训练权重初始化航空网络或联合优化两个网络的性能。
• 消融实验表明，仅优化航空网络参数（$\Theta_a$）的效果优于固定或联合优化 $\Theta_a$ 与 $\Theta_g$，表明地面级特征在跨视角对齐中更具有效性。