[论文解读] PersFormer: 3D Lane Detection via Perspective Transformer and the OpenLane Benchmark

Li Chen, Chonghao Sima+9 more|arXiv (Cornell University)|Mar 21, 2022

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

PersFormer 提出了一种基于新型 Transformer 骨干的空间特征转换模块的端到端单目 3D 车道线检测模型，该模块以相机参数为参考，关注前视图中的局部区域，从而实现精确的 BEV 特征生成。该方法在新发布的 OpenLane 基准测试中达到最先进性能，在 3D 车道线检测任务中显著优于先前方法，同时通过统一的 2D/3D 锚框设计与多任务学习保持了出色的 2D 性能。

ABSTRACT

Methods for 3D lane detection have been recently proposed to address the issue of inaccurate lane layouts in many autonomous driving scenarios (uphill/downhill, bump, etc.). Previous work struggled in complex cases due to their simple designs of the spatial transformation between front view and bird's eye view (BEV) and the lack of a realistic dataset. Towards these issues, we present PersFormer: an end-to-end monocular 3D lane detector with a novel Transformer-based spatial feature transformation module. Our model generates BEV features by attending to related front-view local regions with camera parameters as a reference. PersFormer adopts a unified 2D/3D anchor design and an auxiliary task to detect 2D/3D lanes simultaneously, enhancing the feature consistency and sharing the benefits of multi-task learning. Moreover, we release one of the first large-scale real-world 3D lane datasets: OpenLane, with high-quality annotation and scenario diversity. OpenLane contains 200,000 frames, over 880,000 instance-level lanes, 14 lane categories, along with scene tags and the closed-in-path object annotations to encourage the development of lane detection and more industrial-related autonomous driving methods. We show that PersFormer significantly outperforms competitive baselines in the 3D lane detection task on our new OpenLane dataset as well as Apollo 3D Lane Synthetic dataset, and is also on par with state-of-the-art algorithms in the 2D task on OpenLane. The project page is available at https://github.com/OpenPerceptionX/PersFormer_3DLane and OpenLane dataset is provided at https://github.com/OpenPerceptionX/OpenLane.

研究动机与目标

• 为解决现有 3D 车道线检测方法依赖于简化的前视图到 BEV 特征转换方式，且缺乏真实、大规模训练数据的问题。
• 通过将空间转换建模为可学习的注意力机制过程，捕捉跨视角的上下文交互，从而提升 BEV 特征表示能力。
• 通过共享架构与辅助任务统一 2D 与 3D 车道线检测，增强特征一致性与多任务学习优势。
• 发布 OpenLane，一个大规模真实世界 3D 车道数据集，包含 200,000 帧图像、880,000 个车道实例、14 个类别以及场景级标注，以支持工业级自动驾驶研究。

提出的方法

• 提出 Perspective Transformer (PersFormer) 模块，利用可变形自注意力与交叉注意力机制，基于相机参数参考，从前视图学习到鸟瞰图（BEV）的空间特征转换。
• 提出统一的 2D/3D 锚框设计，使单个检测头可联合检测 2D 与 3D 车道线，促进特征共享与一致性。
• 采用辅助二值分割头，对 BEV 特征提供显式监督，提升特征质量与检测鲁棒性。
• 利用可学习注意力机制，动态关注前视图特征图中的相关局部区域，聚合上下文感知特征以构建 BEV 表示。
• 通过可微分的空间变换机制，利用可学习查询与键，使模型在生成 BEV 特征时能自适应聚焦于显著特征。
• 发布 OpenLane，一个大规模真实世界 3D 车道数据集，具备高质量实例级标注、场景标签以及闭合路径物体标注，以支持真实场景下的基准测试。

实验结果

研究问题

• RQ1 可学习的、基于注意力的空间转换模块是否能在生成 3D 车道线检测 BEV 特征方面超越传统的逆透视映射（IPM）方法？
• RQ2 采用统一锚框设计的联合 2D/3D 车道线检测是否相比独立的 2D 与 3D 头部，能提升特征一致性与检测精度？
• RQ3 通过辅助分割头实现的显式 BEV 监督，在多大程度上提升了 3D 车道线检测性能？
• RQ4 所提方法在包括上坡/下坡与复杂道路结构在内的多样化真实驾驶场景中，泛化能力如何？
• RQ5 像 OpenLane 这样大规模真实世界 3D 车道数据集，是否能有效支持工业级 3D 车道线检测模型的开发与基准测试？

主要发现

• 在 Apollo 3D Lane Synthetic 数据集的平衡场景上，PersFormer 达到 92.9% 的 F-Score，优于先前方法（包括 3D-LaneNet 与 Gen-LaneNet）。
• 在 Apollo 3D Lane Synthetic 数据集的稀有场景子集上，PersFormer 达到 87.5% 的 F-Score，较此前最佳方法（CLGo）的 86.1% 提升 1.4 个百分点。
• 在 OpenLane 基准测试中，PersFormer 在 300 段子集上实现 3D F-Score 为 47.79%，相较于基线方法在完整消融设置下提升 6.02%。
• 消融实验表明，统一锚框、多任务学习与 Perspective Transformer 的组合使 3D 检测性能相比基线提升 4.9%，额外增加 1.13% 的性能增益来自辅助分割头。
• 与基线相比，PersFormer 在 OpenLane 上的 2D 车道线检测 F-Score 提升 9.7%，表明增强的 BEV 特征同样有助于提升 2D 任务性能。
• 定性结果表明，PersFormer 能够检测到细微的路边车道线，并在上坡/下坡场景中保持并行拓扑结构，而对比方法因平面假设而失效。