[论文解读] You Are Here: Geolocation by Embedding Maps and Images

Noe Samano, Mengjie Zhou+1 more|arXiv (Cornell University)|Nov 20, 2019

Advanced Image and Video Retrieval Techniques参考文献 35被引用 5

一句话总结

本文提出了一种深度学习方法，将全景图像与地图瓦片嵌入共享的16维空间中，实现在无GPS情况下的地理定位。通过利用孪生网络与三元组损失，该方法实现了高精度的基于路径的定位——在使用Google街景和OpenStreetMap数据时，200米路径的定位准确率超过90%，在泛化能力和区分度方面优于以往的手工设计特征方法。

ABSTRACT

We present a novel approach to geolocalising panoramic images on a 2-D cartographic map based on learning a low dimensional embedded space, which allows a comparison between an image captured at a location and local neighbourhoods of the map. The representation is not sufficiently discriminatory to allow localisation from a single image, but when concatenated along a route, localisation converges quickly, with over 90% accuracy being achieved for routes of around 200m in length when using Google Street View and Open Street Map data. The method generalises a previous fixed semantic feature based approach and achieves significantly higher localisation accuracy and faster convergence.

研究动机与目标

• 开发一种鲁棒且可泛化的地理定位方法，利用2D地图数据对全景图像进行定位，而无需依赖GPS或地理参考图像数据库。
• 克服固定语义特征（如路口、间隙）在特征稀疏城市区域中表现不佳的局限性。
• 学习一个低维嵌入空间，使图像与地图瓦片表示在语义上对齐，从而可通过欧氏距离直接比较。
• 证明基于路径的描述符匹配可实现高精度定位，即使单个图像的可区分性有限。
• 在不同特征密度的城市环境中验证该方法的泛化能力与鲁棒性。

提出的方法

• 使用三元组损失训练一种类似孪生的深度神经网络，将全景图像（四个方向）和局部地图瓦片映射到共享的16维嵌入空间。
• 网络通过特征提取和投影层生成图像与地图瓦片的紧凑描述符，确保对应配对在嵌入空间中彼此接近。
• 地理定位通过计算由地图瓦片序列生成的路径描述符，并将其与沿路径的图像序列生成的查询描述符进行比较来完成。
• 采用朴素的路径匹配算法，将所有可能的路径描述符与查询描述符进行比较，生成可能位置的排序列表。
• 该方法通过从大规模GSV和OSM数据中学习判别性、数据驱动的表示，超越了固定语义特征的限制。
• 在搜索过程中对路径候选进行剪枝，即使每一步丢弃50%的候选，性能仍保持稳定，表明早期即实现有效区分。

实验结果

研究问题

• RQ1 能否学习到一个有效的深度嵌入空间，以实现全景图像与局部地图瓦片在地理定位中的有效对齐？
• RQ2 与固定语义特征（如路口、间隙）相比，学习数据驱动的表示是否在多样化城市环境中的泛化能力和准确率方面表现更优？
• RQ3 与单张图像匹配相比，路径级描述符匹配在多大程度上提升了定位准确率？
• RQ4 在特征密度较低的区域，该方法表现如何，而这些区域是以往方法失效的区域？
• RQ5 嵌入空间与转向信息在路径定位中的相对贡献是什么？

主要发现

• 在使用学习到的嵌入空间的地理定位任务中，top-1%召回率在72%至82%之间。
• 在所有测试的城市区域（2–3 km²）中，约200米长的路径定位准确率超过90%。
• 该方法显著优于先前的手工设计语义描述符（BSD）方法，尤其在路口和间隙密度较低的区域，BSD的准确率下降至60%以下。
• 在所有测试区域中性能均保持高水平，表现出强大的泛化能力，且嵌入空间学习到的语义线索与BSD方法不同。
• 差异分数显示，有30–40%的路径通过嵌入空间方法成功定位，而BSD方法未能定位，表明两者特征学习具有互补性且更具多样性。
• 即使在搜索过程中丢弃50%的路径候选，定位准确率仍保持稳定，表明区分过程在路径序列早期即已发生。