[论文解读] Visual Localization for Autonomous Driving: Mapping the Accurate Location in the City Maze

Dongfang Liu, Yiming Cui+4 more|arXiv (Cornell University)|Aug 13, 2020

Video Surveillance and Tracking Methods参考文献 42被引用 7

一句话总结

本文提出一种三向视觉定位系统，利用前视、左视和右视摄像头画面，以提升在GPS信号衰减的城区环境中定位精度。通过跨多视角的特征投票机制，并基于Google街景数据构建的自动化流程，该方法在桥梁下方或高楼附近等复杂条件下仍能实现鲁棒定位，显著优于仅使用前视图像的方法。

ABSTRACT

Accurate localization is a foundational capacity, required for autonomous vehicles to accomplish other tasks such as navigation or path planning. It is a common practice for vehicles to use GPS to acquire location information. However, the application of GPS can result in severe challenges when vehicles run within the inner city where different kinds of structures may shadow the GPS signal and lead to inaccurate location results. To address the localization challenges of urban settings, we propose a novel feature voting technique for visual localization. Different from the conventional front-view-based method, our approach employs views from three directions (front, left, and right) and thus significantly improves the robustness of location prediction. In our work, we craft the proposed feature voting method into three state-of-the-art visual localization networks and modify their architectures properly so that they can be applied for vehicular operation. Extensive field test results indicate that our approach can predict location robustly even in challenging inner-city settings. Our research sheds light on using the visual localization approach to help autonomous vehicles to find accurate location information in a city maze, within a desirable time constraint.

研究动机与目标

• 为解决在桥梁下方或高楼之间等密集城区环境中GPS信号衰减的问题，传统GPS在此类区域失效。
• 通过引入多方向视角（前视、左视、右视）而非仅依赖前视图像，提升视觉定位精度。
• 开发一种自动化流程，利用Google街景数据收集、标注并管理带有GPS标签的图像数据，以降低构建成本与复杂度。
• 提出一种特征投票机制，根据场景动态（如快速运动或慢速运动）自适应加权不同视角的贡献。
• 为未来自动驾驶定位研究提供一个公开可用的带有GPS标签的视觉定位数据集。

提出的方法

• 该方法利用Google街景数据构建带有GPS标签的图像库，从360°全景图像中提取前视、左视和右视图像。
• 提出一种特征投票技术，将三个视角的局部特征进行融合，每个视角根据自适应权重参与最终定位预测。
• 自适应权重 $\alpha$ 控制左视和右视的影响力，其中 $\alpha = 1$ 时偏向前视，$\alpha = 0$ 时仅依赖侧视。
• 系统采用先进的视觉定位网络（如SARE等）并进行修改，以支持多视角输入，并与参考图像库进行特征匹配。
• 使用运动IoU对街景图像进行分类，判断其为“快速”（高运动，如高楼附近）或“慢速”（低运动，开阔区域），以实现权重的动态调整。
• 通过选择投票代价最低的参考图像，确定最终定位结果，并以其GPS标签作为预测位置。

实验结果

研究问题

• RQ1 相较于仅使用前视图像的方法，多方向视觉特征（前视、左视、右视）是否能提升在GPS拒止城区环境中的定位精度？
• RQ2 对左视和右视的自适应加权如何影响在不同城区街景中的定位性能？
• RQ3 使用Google街景数据在多大程度上降低了构建带有GPS标签的视觉定位数据库的成本与复杂度？
• RQ4 该系统在桥梁下方、隧道内或密集摩天大楼区域等挑战性条件下的表现如何？
• RQ5 所提方法在不同天气与光照条件下（如夜间、雨天或雪天）是否具备良好的泛化能力？

主要发现

• 所提出的三视角方法显著提升了定位精度，尤其在GPS拒止的城区环境（如桥梁下方或高楼附近）中表现突出。
• 当 $\alpha$ 从1降低至0.4（SARE模型为0.5）时，平均精度（AP）持续上升，表明侧视图像显著增强了定位的鲁棒性。
• 在快速街景场景中（如高楼附近），最优性能出现在 $\alpha \approx 0.3$；在慢速场景（开阔区域）中，$\alpha \approx 0.6$ 时表现最佳。
• 即使GPS信号完全被阻断，系统仍能保持准确的定位预测，这在地铁桥下和高楼峡谷中的实地测试中得到验证。
• 仅使用左视和右视图像（$\alpha = 0$）的性能仍优于仅使用前视图像（$\alpha = 1$），表明侧视图像提供了独特且有价值的定位线索。
• 该方法在多样化城区场景中表现出鲁棒性能，预测轨迹与真实轨迹高度吻合，即使在GPS不可靠时亦然。