[论文解读] SceneDiffuser: Efficient and Controllable Driving Simulation Initialization and Rollout

Chiyu Max Jiang, Yanchao Bai+13 more|arXiv (Cornell University)|Dec 5, 2024

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

SceneDiffuser 提出了一种用于自动驾驶仿真的一体化扩散模型，通过使用近似扩散技术，联合处理场景初始化与闭环滚动，将推理成本降低16倍，同时通过广义硬约束和大语言模型（LLM）引导提示，提升了轨迹的真实感与可控性。该方法在 Waymo Open Sim Agents Challenge 上取得了最先进性能，成为基于扩散模型中闭环结果最佳的模型。

ABSTRACT

Realistic and interactive scene simulation is a key prerequisite for autonomous vehicle (AV) development. In this work, we present SceneDiffuser, a scene-level diffusion prior designed for traffic simulation. It offers a unified framework that addresses two key stages of simulation: scene initialization, which involves generating initial traffic layouts, and scene rollout, which encompasses the closed-loop simulation of agent behaviors. While diffusion models have been proven effective in learning realistic and multimodal agent distributions, several challenges remain, including controllability, maintaining realism in closed-loop simulations, and ensuring inference efficiency. To address these issues, we introduce amortized diffusion for simulation. This novel diffusion denoising paradigm amortizes the computational cost of denoising over future simulation steps, significantly reducing the cost per rollout step (16x less inference steps) while also mitigating closed-loop errors. We further enhance controllability through the introduction of generalized hard constraints, a simple yet effective inference-time constraint mechanism, as well as language-based constrained scene generation via few-shot prompting of a large language model (LLM). Our investigations into model scaling reveal that increased computational resources significantly improve overall simulation realism. We demonstrate the effectiveness of our approach on the Waymo Open Sim Agents Challenge, achieving top open-loop performance and the best closed-loop performance among diffusion models.

研究动机与目标

• 为解决自动驾驶仿真中计算成本高与分布漂移问题提供高效且逼真的闭环仿真方案。
• 将场景初始化与滚动过程统一为单一基于扩散的生成框架，联合建模智能体、位姿、尺寸、类型与时间步长。
• 通过广义硬约束与大语言模型（LLM）少样本提示，提升仿真的可控性，实现自然语言驱动的场景生成。
• 研究模型规模对仿真真实感的影响，识别最优的计算资源权衡方案。
• 在 Waymo Open Sim Agents Challenge 上，同时实现开环与闭环仿真中的最先进性能。

提出的方法

• 提出近似扩散（amortized diffusion），一种新型去噪范式，将多个未来仿真步骤的去噪计算成本进行分摊，使每一步滚动的推理步数减少16倍。
• 采用统一的时空扩散模型，端到端训练于记录的驾驶场景数据，联合预测智能体轨迹、位姿、尺寸、类型与时间步长。
• 应用广义硬约束作为灵活的推理时机制，用于在生成过程中强制执行场景级规则，如智能体位置、速度或行为。
• 利用大语言模型（LLM）的少样本提示技术，将自然语言描述转换为结构化约束，用于合成场景生成。
• 通过行为预测、场景生成与随机控制掩码的多任务协同训练，提升泛化能力并降低碰撞率与偏离道路率。
• 采用带有 AdaLN-Zero 的交叉注意力条件机制与基于智能体的时空注意力，建模联合智能体分布，提升轨迹一致性。

实验结果

研究问题

• RQ1 统一的扩散模型能否有效同时处理自动驾驶仿真中的场景初始化与闭环滚动？
• RQ2 近似扩散在保持或提升轨迹真实感的前提下，如何降低闭环仿真的推理成本？
• RQ3 广义硬约束与 LLM 引导提示在多大程度上能实现可控且多样化的场景生成？
• RQ4 模型规模与时间分辨率的扩展如何影响仿真真实感与性能表现？
• RQ5 与自回归基线相比，基于扩散的模型能否在闭环仿真中实现最先进性能？

主要发现

• SceneDiffuser 在 Waymo Open Sim Agents Challenge 上实现了最佳开环性能，并在所有基于扩散的模型中取得了最优闭环性能。
• 近似扩散使每步滚动的推理成本降低16倍，同时显著减少闭环误差并提升轨迹一致性。
• 通过模型规模与时间分辨率的扩展，仿真真实感得到提升，联合分布与真实数据分布高度一致。
• 广义硬约束的使用有效控制了智能体行为与场景布局，支持手动与 LLM 生成的约束输入。
• 多任务协同训练提升了仿真的鲁棒性，相比单任务基线，碰撞率与偏离道路率均显著降低。
• 将 AdaLN-Zero 替换为交叉注意力会使真实感性能下降 7.99%；若移除基于智能体的时空注意力，碰撞率将急剧上升，证实了二者的重要性。