[论文解读] RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving

Tong Qin, Yuxin Zheng+3 more|arXiv (Cornell University)|Jun 4, 2021

Robotics and Sensor-Based Localization参考文献 24被引用 12

一句话总结

本文提出RoadMap，一种轻量级视觉语义地图，通过低成本摄像头和紧凑的众源地图实现高性价比的自动驾驶车辆定位。通过利用传感器丰富的车辆收集并上传语义数据（如车道线、人行横道等），系统实现实时云端地图融合与压缩，生成每公里36 KB的语义地图，实现亚米级定位精度——在城市环境中优于激光雷达（Lidar）方法。

ABSTRACT

Accurate localization is of crucial importance for autonomous driving tasks. Nowadays, we have seen a lot of sensor-rich vehicles (e.g. Robo-taxi) driving on the street autonomously, which rely on high-accurate sensors (e.g. Lidar and RTK GPS) and high-resolution map. However, low-cost production cars cannot afford such high expenses on sensors and maps. How to reduce costs? How do sensor-rich vehicles benefit low-cost cars? In this paper, we proposed a light-weight localization solution, which relies on low-cost cameras and compact visual semantic maps. The map is easily produced and updated by sensor-rich vehicles in a crowd-sourced way. Specifically, the map consists of several semantic elements, such as lane line, crosswalk, ground sign, and stop line on the road surface. We introduce the whole framework of on-vehicle mapping, on-cloud maintenance, and user-end localization. The map data is collected and preprocessed on vehicles. Then, the crowd-sourced data is uploaded to a cloud server. The mass data from multiple vehicles are merged on the cloud so that the semantic map is updated in time. Finally, the semantic map is compressed and distributed to production cars, which use this map for localization. We validate the performance of the proposed map in real-world experiments and compare it against other algorithms. The average size of the semantic map is $36$ kb/km. We highlight that this framework is a reliable and practical localization solution for autonomous driving.

研究动机与目标

• 解决高清地图和高精度传感器（如激光雷达、RTK-GPS）在量产车辆中成本高、可扩展性差的问题。
• 使低成本车辆仅通过低成本摄像头和紧凑语义地图实现高精度定位。
• 构建可扩展的众源数据管道，使配备丰富传感器的车辆（如自动驾驶出租车）能自主收集并更新地图数据。
• 开发一种实用、可实际部署的定位系统，在精度、地图大小和计算效率之间实现平衡。

提出的方法

• 利用车辆前向摄像头捕获图像，并通过基于深度学习的语义分割提取语义要素（车道线、人行横道、停止线、地面标志）。
• 通过几何投影和车辆位姿（来自RTK-GPS/IMU/航位推算）将2D语义特征重建为3D，形成局部3D地图。
• 将本地地图上传至云端服务器，通过基于ICP的优化算法对多辆车辆的数据进行合并与对齐，形成全局语义地图。
• 应用地图压缩技术，将最终地图大小缩减至36 KB/km，实现向量产车辆的高效分发。
• 通过基于ICP的位姿估计，将当前2D语义特征与压缩后的3D语义地图进行匹配，完成终端用户定位。
• 在EKF框架下融合视觉定位结果与航位推算数据，提升系统鲁棒性与轨迹平滑性。

实验结果

研究问题

• RQ1 基于低成本摄像头和众源数据构建的轻量级语义地图，能否实现与激光雷达系统相当的高精度定位？
• RQ2 基于云端的系统在多车数据融合与压缩方面效率如何，能否维持实时更新且紧凑的地图？
• RQ3 仅使用道路表面标识（如车道线）的纯摄像头系统，其可实现的定位精度与高精度传感器方法相比如何？
• RQ4 系统如何应对环境中的动态变化（如重新喷涂的车道线）？更新延迟是多少？
• RQ5 所提出的框架能否在大型城市区域实现规模化部署，同时保持低地图大小与高定位精度？

主要发现

• 平均压缩后的语义地图大小为每公里36 KB，显著降低了存储与带宽需求。
• 系统在x方向平均定位误差为0.043 m，y方向为0.040 m，偏航角为0.124°，优于激光雷达方法（0.121 m，0.091 m，0.197°）。
• 第90百分位定位误差为x方向0.104 m，y方向0.092 m，偏航角0.240°，表明在真实环境下具有高度可靠性。
• 地图更新已成功实现实时演示：当车道线被重新喷涂时，系统在几分钟内通过传入的众源数据检测并替换旧地图数据。
• 基于EKF的视觉定位与航位推算融合显著提升了轨迹平滑性与鲁棒性，减少了抖动与漂移。
• 语义地图已在上海浦东22公里的城市区域完成验证，并与Google地图对齐，证实了其可扩展性与实际应用价值。