[论文解读] Nocturne: a scalable driving benchmark for bringing multi-agent learning one step closer to the real world

Eugene Vinitsky, Nathan Lichtlé+3 more|arXiv (Cornell University)|Jun 20, 2022

Reinforcement Learning in Robotics被引用 9

一句话总结

Nocturne 引入了一款高速、二维的驾驶模拟器，可在类人部分可观测条件下实现可扩展的多智能体强化学习与模仿学习，采用高效的 C++ 基础可见性计算而非摄像头渲染。结果表明，当前的强化学习与模仿学习智能体在高交互场景（如交叉路口和汇合处）中仍远未达到人类水平的协调能力，尤其在目标达成与碰撞规避方面存在显著性能差距。

ABSTRACT

We introduce Nocturne, a new 2D driving simulator for investigating multi-agent coordination under partial observability. The focus of Nocturne is to enable research into inference and theory of mind in real-world multi-agent settings without the computational overhead of computer vision and feature extraction from images. Agents in this simulator only observe an obstructed view of the scene, mimicking human visual sensing constraints. Unlike existing benchmarks that are bottlenecked by rendering human-like observations directly using a camera input, Nocturne uses efficient intersection methods to compute a vectorized set of visible features in a C++ back-end, allowing the simulator to run at over 2000 steps-per-second. Using open-source trajectory and map data, we construct a simulator to load and replay arbitrary trajectories and scenes from real-world driving data. Using this environment, we benchmark reinforcement-learning and imitation-learning agents and demonstrate that the agents are quite far from human-level coordination ability and deviate significantly from the expert trajectories.

研究动机与目标

• 开发一种可扩展、高速的模拟器，用于在类人视觉限制下研究多智能体协调。
• 在无需图像观测计算负担的前提下，实现复杂真实驾驶场景中强化学习与模仿学习智能体的高效训练与评估。
• 在多样化的、基于数据的环境（如交叉路口、环岛和停车场）中，对基于学习的智能体性能与专家人类轨迹进行基准测试。
• 研究多智能体驾驶中去中心化、混合动机协调的挑战，特别是高交互场景下的问题。
• 提供一个包含真实世界轨迹数据的公开基准，以支持多智能体驾驶研究的可复现性。

提出的方法

• 模拟器采用 C++ 后端，利用高效的几何相交计算方法，为每个智能体计算可见物体与道路特征，避免摄像头渲染，实现每秒超过 2000 步的性能。
• 基于视线可见性构建向量化的、以自身为中心的观测，包括头部倾斜以模拟盲区检查，从而模仿人类视觉感知。
• 环境基于开源 Waymo Motion 数据集的轨迹与地图构建，支持真实世界场景与专家示范的回放。
• 智能体使用模仿学习与强化学习基线方法进行训练，评估指标包括目标达成率（最终位置准确性）与碰撞率。
• 定义了交互复杂度的代理指标，即专家数据中智能体轨迹的相交数量，用于分析策略失败模式。
• 该基准支持灵活控制智能体数量，并包含即插即用的评估工具与基线实现。

实验结果

研究问题

• RQ1 深度强化学习与模仿学习智能体是否能在复杂、部分可观测的多智能体驾驶场景中实现人类水平的协调？
• RQ2 智能体交互数量（如汇合、四向停车）如何影响策略在目标达成与碰撞规避方面的性能表现？
• RQ3 当前基于学习的智能体在高速公路、环岛和停车场等多样化真实驾驶场景中的泛化能力如何？
• RQ4 该基准中是否存在零样本协调问题，还是智能体的失败源于协调能力不足而非策略不连贯？
• RQ5 Nocturne 是否可用于训练不仅达成目标，且在行为与运动模式上高度模仿人类轨迹的智能体？

主要发现

• 使用模仿学习与强化学习训练的智能体在目标达成率上显著低于人类表现，尤其在交叉路口与汇合等高交互场景中。
• 碰撞率随专家轨迹中交互数量的增加而急剧上升，表明在复杂性下协调仍是当前智能体的主要挑战。
• 即使使用 1000 个轨迹文件的训练数据，位移误差（与专家的 L2 距离）也未进一步改善，表明数据效率是主要限制因素。
• 失败模式主要源于在需要等待、让行或汇合等场景下的协调不良，而非导航或控制错误。
• 结果未显示存在零样本协调问题，表明智能体的困难在于协调能力本身，而非初始策略对齐问题。
• 该模拟器可实现每秒 2000 多步的性能，使得在数十亿次环境交互上训练智能体成为可能，是实现可扩展多智能体学习的关键推动因素。