[论文解读] Ultra Fast Structure-aware Deep Lane Detection

Zequn Qin, Huanyu Wang+1 more|arXiv (Cornell University)|Apr 24, 2020

Autonomous Vehicle Technology and Safety参考文献 28被引用 12

一句话总结

本文提出了一种新颖的、超高速的车道检测方法，将车道检测建模为一种基于行的选型问题，利用全局特征显著降低计算成本，同时提升对遮挡和低光照条件的鲁棒性。通过利用全局上下文信息并引入结构化损失以强制实现车道连续性，该方法在准确率和速度方面均达到当前最优水平——在标准基准测试中，使用ResNet-18时达到322.5 FPS，使用ResNet-34时达到175.4 FPS。

ABSTRACT

Modern methods mainly regard lane detection as a problem of pixel-wise segmentation, which is struggling to address the problem of challenging scenarios and speed. Inspired by human perception, the recognition of lanes under severe occlusion and extreme lighting conditions is mainly based on contextual and global information. Motivated by this observation, we propose a novel, simple, yet effective formulation aiming at extremely fast speed and challenging scenarios. Specifically, we treat the process of lane detection as a row-based selecting problem using global features. With the help of row-based selecting, our formulation could significantly reduce the computational cost. Using a large receptive field on global features, we could also handle the challenging scenarios. Moreover, based on the formulation, we also propose a structural loss to explicitly model the structure of lanes. Extensive experiments on two lane detection benchmark datasets show that our method could achieve the state-of-the-art performance in terms of both speed and accuracy. A light-weight version could even achieve 300+ frames per second with the same resolution, which is at least 4x faster than previous state-of-the-art methods. Our code will be made publicly available.

研究动机与目标

• 解决自动驾驶系统中实时车道检测面临的高计算效率挑战。
• 克服像素级分割方法在无视觉线索场景（如严重遮挡和极端光照）下的局限性。
• 提出一种新范式，将车道检测建模为基于行的选型任务，利用全局特征增强上下文理解能力。
• 设计一种结构化损失，显式建模车道的连续性与平滑性，提升在复杂条件下的泛化能力。
• 在不牺牲性能的前提下，同时实现高速度与高准确率，推理速度超越现有方法。

提出的方法

• 提出一种基于行的选型范式，通过全局图像特征而非密集像素级分割，在预设的水平行上预测车道位置。
• 通过全局特征提取获得大感受野，捕捉长距离上下文依赖关系，提升在低能见度场景下的鲁棒性。
• 引入“行锚点”——图像中固定的水平位置——在这些位置上预测车道点，从而减少搜索空间与计算量。
• 设计一种结构化损失，强制在不同行之间保持所选车道点的空间一致性和平滑性，建模车道刚性与连续性的先验知识。
• 将标准CNN主干网络（如ResNet-18、ResNet-34）适配至新范式，支持高效端到端训练与推理。
• 采用交叉熵损失进行位置预测，结合所提出的结构化损失进行联合训练，以同时优化准确率与结构合理性。

实验结果

研究问题

• RQ1 是否有一种车道检测方法能在不牺牲挑战性真实世界场景下准确率的前提下实现超高速推理？
• RQ2 全局特征表示是否能提升在严重遮挡或极端光照等无视觉线索场景下的性能？
• RQ3 基于行的选型范式是否在速度与鲁棒性方面均优于密集像素级分割方法？
• RQ4 通过结构化损失显式建模车道结构是否能带来更好的泛化能力与更平滑的预测结果？
• RQ5 所提出的范式是否能在标准基准上实现高准确率的同时达到实时推理速度（如>300 FPS）？

主要发现

• 该方法在Tusimple数据集上使用ResNet-18主干网络、288×800分辨率时达到322.5 FPS，比SCNN快41.7倍，比SAD快10倍。
• ResNet-34版本的推理速度为175.4 FPS，优于SAD（74.6 FPS）和SCNN（7.5 FPS），同时在Tusimple与CULane基准上均达到最先进准确率。
• 在Tusimple基准上，使用ResNet-18时准确率达到95.87%，使用ResNet-34时达到96.06%，尽管推理时间显著降低，仍与SOTA方法持平或超越。
• 在CULane数据集上，该方法在总类别中取得72.3%的最高F1分数，在拥挤类别中取得70.2%的F1分数，优于所有基线方法（包括SCNN与SAD）。
• 结构化损失显著提升了预测的平滑性与连续性，尤其在“无车道线”、“阴影”和“曲线”等挑战类别中，性能提升最为明显。
• 轻量化版本（ResNet-18）在保持与SOTA方法相当准确率的同时实现322.5 FPS，证明了基于行的范式在实时部署中的有效性。