[论文解读] NuPlan: A closed-loop ML-based planning benchmark for autonomous vehicles

Holger Caesar, Juraj Kabzan+7 more|arXiv (Cornell University)|Jun 22, 2021

Traffic Prediction and Management Techniques被引用 84

一句话总结

介绍全球首个基于闭环的机器学习驱动规划基准，用于自动驾驶，包含一个大型真实世界数据集、一个轻量级闭环仿真器，以及专门针对规划的指标。

ABSTRACT

In this work, we propose the world's first closed-loop ML-based planning benchmark for autonomous driving. While there is a growing body of ML-based motion planners, the lack of established datasets and metrics has limited the progress in this area. Existing benchmarks for autonomous vehicle motion prediction have focused on short-term motion forecasting, rather than long-term planning. This has led previous works to use open-loop evaluation with L2-based metrics, which are not suitable for fairly evaluating long-term planning. Our benchmark overcomes these limitations by introducing a large-scale driving dataset, lightweight closed-loop simulator, and motion-planning-specific metrics. We provide a high-quality dataset with 1500h of human driving data from 4 cities across the US and Asia with widely varying traffic patterns (Boston, Pittsburgh, Las Vegas and Singapore). We will provide a closed-loop simulation framework with reactive agents and provide a large set of both general and scenario-specific planning metrics. We plan to release the dataset at NeurIPS 2021 and organize benchmark challenges starting in early 2022.

研究动机与目标

• 提供一个用于 ML 基于规划的自动驾驶的大规模真实世界数据集。
• 引入一个闭环规划基准，以评估与其他代理的交互。
• 定义包括安全性、与人类驾驶相似性以及基于场景的评估在内的规划专用指标。
• 实现社区驱动的开发以及 ML 基于规划评估的标准化。

提出的方法

• 发布来自四个城市（Las Vegas、Boston、Pittsburgh、Singapore）的 1500 hours 自动标注驾驶数据，附带传感器套件和语义地图。
• 提供一个轻量级闭环仿真器，具备对话代理建模和跟随规划轨迹的控制器。
• 定义面向规划的评估指标，涵盖交通规则遵守、人类驾驶相似性、车辆动力学、目标达成和基于场景的案例。
• 通过容器化评估框架，支持开放环和闭环评估，包括反应式和非反应式闭环任务。
• 自动用标签标注场景（如合并、变道、受保护左转等），以实现基于场景的指标。

实验结果

研究问题

• RQ1 如何从真实驾驶数据形成一个闭环的 ML 基于规划基准？
• RQ2 哪些指标最能体现自主驾驶中的规划质量、安全性和目标实现？
• RQ3 在非反应性与反应性闭环条件下，基于 ML 的规划器表现如何？
• RQ4 标准化基准是否能够促进 ML 基于规划在不同地理区域和交通模式中的进展？

主要发现

• 提出了首个带闭环规划器评估的真实世界数据公共基准。
• 提供来自 4 个城市、具有高质量自动标注轨迹的现有最大的公开真实世界 AV 数据集。
• 列出全面的规划专用指标集合，包括交通规则违规、与人类驾驶相似性、车辆动力学和目标实现。
• 引入一个开放的、基于容器化规划器提交的评估工作流，以实现可重复的闭环测试。