[论文解读] Scenario Diffusion: Controllable Driving Scenario Generation With Diffusion

Ethan Pronovost, Meghana Reddy Ganesina+5 more|arXiv (Cornell University)|Nov 5, 2023

Autonomous Vehicle Technology and Safety被引用 8

一句话总结

论文提出 Scenario Diffusion，一种基于扩散的模型，在地图和描述令牌条件下联合生成带方向的包围盒和轨迹，用于实现可控且地理通用的交通场景生成以进行自动驾驶安全验证。

ABSTRACT

Automated creation of synthetic traffic scenarios is a key part of validating the safety of autonomous vehicles (AVs). In this paper, we propose Scenario Diffusion, a novel diffusion-based architecture for generating traffic scenarios that enables controllable scenario generation. We combine latent diffusion, object detection and trajectory regression to generate distributions of synthetic agent poses, orientations and trajectories simultaneously. To provide additional control over the generated scenario, this distribution is conditioned on a map and sets of tokens describing the desired scenario. We show that our approach has sufficient expressive capacity to model diverse traffic patterns and generalizes to different geographical regions.

研究动机与目标

• 推动自动生成多样且对自动驾驶车辆安全关键的交通场景。
• 开发可控的扩散框架，输出代理人位置、朝向和轨迹。
• 实现对地图和场景令牌的条件化，以引导生成的场景。
• 展示跨地理区域和可变令牌控制下的泛化能力。
• 通过部分令牌化降低标注需求，同时保持可控性。

提出的方法

• 采用两部分架构：一个类似 VAE 的自编码器将场景映射到潜在空间，扩散模型在该潜在空间中工作。
• 训练自编码器以对 BEV 输入进行带方向的包围盒和轨迹的锚点无检测。
• 训练条件扩散模型（基于 EDM）对潜在嵌入在地图数据和令牌条件下进行去噪，推理时使用反时间 ODE。
• 通过将编码后的地图特征与潜在令牌在扩散 UNet 中级联，实现地图条件化。
• 支持两种令牌条件化方案：代理人令牌（每个代理人的描述性特征）和全局场景令牌（控制整个场景属性）。
• 在训练时探索部分令牌化，通过屏蔽令牌学习在给定令牌之外生成额外代理人。

实验结果

研究问题

• RQ1 扩散驱动的生成是否能够在有地图和高层令牌条件下生成真实且多样的驾驶场景？
• RQ2 令牌条件是否能在不完全给出轨迹的情况下对代理人行为和场景组成进行可控操作？
• RQ3 模型在不同地理区域对场景分布的泛化能力如何？
• RQ4 部分令牌化是否足以在降低标注需求的同时保持可控性？

主要发现

• Scenario Diffusion 在给定地图条件下对代理人位置与朝向分布的 MMD 下降，接近真实轨迹质量。
• 模型在可行驾驶区域对齐和车道一致的朝向方面保持了合理的轨迹，召回率高。
• 令牌条件化使得对 AV 与其他代理人之间的目标交互进行可控生成，而无需完全指定轨迹。
• 部分令牌化保持较高的代理人-令牌匹配率（约 0.97），同时能够根据全局令牌生成额外代理人。
• 在多区域上训练的模型对未见区域的泛化能力优于仅区域化模型，且全区域训练接近区域专门化性能。
• 联合建模边界框和轨迹使得后续行为描述中的互相影响驱动下出现更一致的代理人交互。