[论文解读] VAD: Vectorized Scene Representation for Efficient Autonomous Driving

Bo Jiang, Shaoyu Chen+8 more|arXiv (Cornell University)|Mar 21, 2023

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

该论文提出VAD，一种完全向量化的端到端自动驾驶框架，通过使用向量化的智能体运动和地图元素而非密集的栅格化表示来建模场景。通过利用显式的实例级规划约束和基于查询的特征交互，VAD在nuScenes数据集上实现了最先进（SOTA）的规划性能，推理速度比之前的方法快2.5倍，碰撞率降低29.0%，位移误差降低30.1%。

ABSTRACT

Autonomous driving requires a comprehensive understanding of the surrounding environment for reliable trajectory planning. Previous works rely on dense rasterized scene representation (e.g., agent occupancy and semantic map) to perform planning, which is computationally intensive and misses the instance-level structure information. In this paper, we propose VAD, an end-to-end vectorized paradigm for autonomous driving, which models the driving scene as a fully vectorized representation. The proposed vectorized paradigm has two significant advantages. On one hand, VAD exploits the vectorized agent motion and map elements as explicit instance-level planning constraints which effectively improves planning safety. On the other hand, VAD runs much faster than previous end-to-end planning methods by getting rid of computation-intensive rasterized representation and hand-designed post-processing steps. VAD achieves state-of-the-art end-to-end planning performance on the nuScenes dataset, outperforming the previous best method by a large margin. Our base model, VAD-Base, greatly reduces the average collision rate by 29.0% and runs 2.5x faster. Besides, a lightweight variant, VAD-Tiny, greatly improves the inference speed (up to 9.3x) while achieving comparable planning performance. We believe the excellent performance and the high efficiency of VAD are critical for the real-world deployment of an autonomous driving system. Code and models are available at https://github.com/hustvl/VAD for facilitating future research.

研究动机与目标

• 解决先前端到端自动驾驶方法中使用的栅格化场景表征所导致的计算效率低下和实例级结构信息丢失问题。
• 通过显式编码向量化的运动和地图信息作为硬性约束，提升规划安全性。
• 通过高效的向量化计算和减少后处理步骤，实现端到端自动驾驶系统的实时部署。
• 在基准数据集上证明，向量化场景表征在准确性和速度方面均优于栅格化表征。

提出的方法

• VAD使用基于鸟瞰图（BEV）的主干网络和基于Transformer的编码器，处理前视摄像头图像并生成鸟瞰图特征。
• 通过地图查询和智能体查询，隐式关注向量化的地图元素（例如，车道边界、道路边缘）和智能体运动轨迹。
• 该框架引入了三种显式的向量化规划约束：自车-智能体碰撞、自车-边界越界和自车-车道方向正则化。
• 通过专用的头模块生成向量化的地图和运动预测，替代密集的语义或占用率地图。
• 规划头使用稀疏的向量化查询生成未来轨迹，其推理速度得益于向量化表征的紧凑性。
• 模型采用多任务监督进行端到端训练，包括运动预测、地图预测和规划目标。

实验结果

研究问题

• RQ1 完全向量化的场景表征是否能在端到端自动驾驶规划中超越密集的栅格化表征？
• RQ2 显式的向量化规划约束如何在不增加计算成本的前提下提升安全性和准确性？
• RQ3 消除栅格化表征和后处理步骤在多大程度上提升了推理速度，同时保持或提升性能？
• RQ4 通过查询交互整合实例级地图和智能体特征，如何提升规划的泛化能力和鲁棒性？
• RQ5 向量化范式的小型化变体能否实现实时推理并保持具有竞争力的规划准确性？

主要发现

• 与之前SOTA方法UniAD相比，VAD-Base在nuScenes数据集上将平均位移误差降低30.1%（0.72m vs. 1.03m），碰撞率降低29.0%（0.22% vs. 0.31%）。
• VAD-Base的推理速度比UniAD快2.5倍（4.5 FPS vs. 1.8 FPS），实现了速度与准确性的最佳平衡。
• VAD-Tiny的推理速度比VAD-Base快9.3倍（16.8 FPS），同时保持了相近的性能，位移误差为0.78m，碰撞率为0.38%。
• 消融实验表明，自车-地图和自车-智能体交互对性能至关重要，两者结合可使碰撞率降低高达29.0%。
• 将向量化的地图预测替换为栅格化的BEV语义分割，会显著提高碰撞率，证明了向量化表征的优越性。
• 在VAD-Tiny中，规划模块仅占3.4ms的推理时间，凸显了稀疏向量化计算的高效性。