[论文解读] SafeDrive: A Robust Lane Tracking System for Autonomous and Assisted Driving Under Limited Visibility

Junaed Sattar, Jiawei Mo|arXiv (Cornell University)|Jan 29, 2017

Autonomous Vehicle Technology and Safety参考文献 10被引用 3

一句话总结

SafeDrive 提出了一种低成本、基于视觉的车道追踪系统，通过利用车辆定位从数据库检索过去的道路视图图像，提升在能见度差条件下的鲁棒性。系统使用基于特征和基于像素的单应性估计方法，将这些图像与实时摄像头画面进行配准，从而在当前场景中车道标记不可见时也能检测到车道。与基线方法相比，该系统将 SSD 误差降低了 25%，在能见度降低的条件下实现了精确的车道投影。

ABSTRACT

We present an approach towards robust lane tracking for assisted and autonomous driving, particularly under poor visibility. Autonomous detection of lane markers improves road safety, and purely visual tracking is desirable for widespread vehicle compatibility and reducing sensor intrusion, cost, and energy consumption. However, visual approaches are often ineffective because of a number of factors, including but not limited to occlusion, poor weather conditions, and paint wear-off. Our method, named SafeDrive, attempts to improve visual lane detection approaches in drastically degraded visual conditions without relying on additional active sensors. In scenarios where visual lane detection algorithms are unable to detect lane markers, the proposed approach uses location information of the vehicle to locate and access alternate imagery of the road and attempts detection on this secondary image. Subsequently, by using a combination of feature-based and pixel-based alignment, an estimated location of the lane marker is found in the current scene. We demonstrate the effectiveness of our system on actual driving data from locations in the United States with Google Street View as the source of alternate imagery.

研究动机与目标

• 在降雪、低光照或遮挡等恶劣能见度条件下，提升自动驾驶和辅助驾驶系统的车道追踪可靠性。
• 通过仅使用视觉数据和 GPS，消除对昂贵或侵入式传感器（如 LiDAR 或雷达）的依赖。
• 为消费级车辆开发一种低成本、兼容智能手机的车道偏离预警解决方案。
• 在视觉线索完全缺失或严重退化的情况下实现车道检测。
• 证明可利用历史道路视图图像作为实时视觉车道检测的备用方案。

提出的方法

• 系统使用车辆 GPS 坐标，从数据库（如 Google Street View）中检索同一道路位置的地理标记历史图像。
• 应用基于特征的匹配（如 SIFT 或类似方法），在当前摄像头图像与检索到的数据库图像之间识别对应点。
• 从匹配的特征点估计单应性矩阵，以将数据库图像与当前场景对齐。
• 使用 Coherent Point Drift (CPD) 或类似算法进行基于像素的图像配准，以进一步减小投影误差。
• 基于匹配特征提取一个公共像素区域，并计算最终的 SSD（平方差和）度量以验证配准质量。
• 在对齐后的数据库图像中检测车道标记，并利用优化后的单应性矩阵将其投影回当前摄像头图像，实现实时车道可视化。

实验结果

研究问题

• RQ1 当天气或光照条件导致车道标记等视觉线索完全不可见时，能否可靠地进行车道检测？
• RQ2 在实时驾驶场景中，历史道路视图图像在恢复车道信息方面的有效性如何？
• RQ3 在单应性估计中结合基于特征和基于像素的配准方法，在车道标记恢复方面能带来多大的性能提升？
• RQ4 该系统如何处理当前图像与历史图像之间的几何失真和视角差异？
• RQ5 一种低成本、基于 GPS 的视觉系统是否足以在消费级车辆中实现实时车道偏离预警的足够精度？

主要发现

• 即使在车道标记完全不可见的情况下（如积雪覆盖或低光照条件），系统仍能成功检测并投影车道标记到当前图像上。
• 在基于像素的优化后，当前图像与投影后的数据库图像之间的 SSD（平方差和）误差从 42,603.4 降低至 31,576.6，表明配准精度显著提高。
• 经过基于像素的优化后得到的最终单应性矩阵（矩阵 3）相比初始基于特征的矩阵（矩阵 2）有显著改进，投影误差减小，建筑边缘等结构特征对齐更佳。
• 在标准 PC 上，车道检测与投影的端到端平均处理时间约为 8 秒，表明该系统具备实时部署的可行性。
• 该方法在处理当前图像与数据库图像之间较大的视角差异和场景变化方面表现良好，多个不同光照和天气条件下的测试案例验证了其有效性。
• 结果表明，结合基于 GPS 的图像检索与多阶段图像配准，可在极端能见度退化条件下实现鲁棒的车道追踪，为传感器密集型系统提供了一种可行的低成本替代方案。