[论文解读] Rethinking the Open-Loop Evaluation of End-to-End Autonomous Driving in nuScenes

Jiang-Tian Zhai, Ze Feng+7 more|arXiv (Cornell University)|May 17, 2023

Autonomous Vehicle Technology and Safety被引用 9

一句话总结

论文展示一个基于MLP的模型，仅使用自我状态信息，在nuScenes上达到与基于感知的方法类似的端到端规划性能，并且认为当前的开环评估指标可能错误地展示方法的优越性。

ABSTRACT

Modern autonomous driving systems are typically divided into three main tasks: perception, prediction, and planning. The planning task involves predicting the trajectory of the ego vehicle based on inputs from both internal intention and the external environment, and manipulating the vehicle accordingly. Most existing works evaluate their performance on the nuScenes dataset using the L2 error and collision rate between the predicted trajectories and the ground truth. In this paper, we reevaluate these existing evaluation metrics and explore whether they accurately measure the superiority of different methods. Specifically, we design an MLP-based method that takes raw sensor data (e.g., past trajectory, velocity, etc.) as input and directly outputs the future trajectory of the ego vehicle, without using any perception or prediction information such as camera images or LiDAR. Our simple method achieves similar end-to-end planning performance on the nuScenes dataset with other perception-based methods, reducing the average L2 error by about 20%. Meanwhile, the perception-based methods have an advantage in terms of collision rate. We further conduct in-depth analysis and provide new insights into the factors that are critical for the success of the planning task on nuScenes dataset. Our observation also indicates that we need to rethink the current open-loop evaluation scheme of end-to-end autonomous driving in nuScenes. Codes are available at https://github.com/E2E-AD/AD-MLP.

研究动机与目标

• 促使重新评估 nuScenes 上端到端自动驾驶的评估。
• 提出一个不依赖感知或预测输入的简单端到端模型。
• 使用 nuScenes 指标将所提出的模型与基于感知的方法进行比较。
• 分析影响规划成功的因素及对评估方案的影响。

提出的方法

• 输入包括自我状态历史和一个高层次指令，不含感知特征。
• 通过一个简单的 MLP 预测接下来的 T_f 帧的自我轨迹。
• 训练使用未来帧的真实轨迹和 L1 损失。
• 通过基于网格的碰撞考量对困难样本应用损失加权。
• 模型实现存在于 PaddlePaddle 和 PyTorch，具有指定的优化器和学习率计划。

实验结果

研究问题

• RQ1 感知与预测信息输入是否在 nuScenes 的规划中相对于仅使用自我状态信息具有明显优势？
• RQ2 当前 nuScenes 的规划评估指标（L2 误差、碰撞率）在区分端到端规划方法方面是否稳健？
• RQ3 输入组件（速度、加速度、高层次指令）如何影响规划性能和安全性？

主要发现

• 仅使用自我状态的 MLP 在 nuScenes 上可实现与基于感知的方法相似的 L2 规划性能。
• 在消融实验中，加入速度、加速度和高层次指令信息可降低平均 L2 误差和碰撞率。
• 基于感知的方法在碰撞率上可能具有优势，但在许多情况下差距较小。
• 占据网格网格大小可能显著影响碰撞评估，导致对真实轨迹的假阳性。
• nuScenes 的轨迹数据偏向前进、直行-小转弯的运动，影响评估动态。
• 研究表明当前的开环评估方案可能无法稳健地反映现实世界的规划质量。