[论文解读] TrafficSim: Learning to Simulate Realistic Multi-Agent Behaviors

Simon Su, Sebastian Regalado+2 more|arXiv (Cornell University)|Jan 17, 2021

Traffic control and management参考文献 37被引用 4

一句话总结

TrafficSim 提出了一种基于可微分潜变量的多智能体运动策略，通过从真实世界驾驶数据中学习，生成多样化且符合社会规范的交通行为。通过在训练过程中展开策略并利用时间自适应多任务损失函数进行端到端优化，实现完全可微分的仿真，其在真实感方面达到当前最先进水平，碰撞率相比基线降低10%，从而有效支持自动驾驶运动规划器的数据增强。

ABSTRACT

Simulation has the potential to massively scale evaluation of self-driving systems enabling rapid development as well as safe deployment. To close the gap between simulation and the real world, we need to simulate realistic multi-agent behaviors. Existing simulation environments rely on heuristic-based models that directly encode traffic rules, which cannot capture irregular maneuvers (e.g., nudging, U-turns) and complex interactions (e.g., yielding, merging). In contrast, we leverage real-world data to learn directly from human demonstration and thus capture a more diverse set of actor behaviors. To this end, we propose TrafficSim, a multi-agent behavior model for realistic traffic simulation. In particular, we leverage an implicit latent variable model to parameterize a joint actor policy that generates socially-consistent plans for all actors in the scene jointly. To learn a robust policy amenable for long horizon simulation, we unroll the policy in training and optimize through the fully differentiable simulation across time. Our learning objective incorporates both human demonstrations as well as common sense. We show TrafficSim generates significantly more realistic and diverse traffic scenarios as compared to a diverse set of baselines. Notably, we can exploit trajectories generated by TrafficSim as effective data augmentation for training better motion planner.

研究动机与目标

• 通过从人类驾驶示范中学习而非依赖启发式规则，弥合仿真与真实世界交通行为之间的差距。
• 生成多样化且符合社会规范的多智能体轨迹，涵盖复杂交互行为如让行、汇入和非规则操作。
• 实现长时程仿真，具备对分布偏移的鲁棒性以及极低的碰撞率。
• 支持交互式场景设计与自动驾驶运动规划器的数据增强。
• 通过时间自适应损失函数，平衡人类行为模仿与常识性约束。

提出的方法

• 使用隐式潜变量模型参数化联合多智能体策略，同时为所有参与者生成规划。
• 通过完全可微分的仿真进行反向传播，利用真实轨迹示范端到端优化策略。
• 在训练过程中展开策略，以减轻误差累积并提升长时程一致性。
• 引入时间自适应多任务损失，使每个时间步都能平衡对示范轨迹的模仿与对常识性交通规则的遵守。
• 在 $T_{\text{plan}}$ 时间范围内建模未来参与者的规划，支持多步推理，实现高达4倍的仿真加速。
• 通过拒绝采样或潜变量的梯度优化，在运行时支持优化，以强制实现防撞与规则合规。

Figure 1: Generating realistic multi-agent behaviors is a key component for simulation

实验结果

研究问题

• RQ1 基于真实世界数据训练的学习型多智能体运动策略，是否能生成比启发式规则模型更真实、更多样化的交通行为？
• RQ2 如何在不累积误差的前提下，有效在长时程上训练联合多智能体策略？
• RQ3 通过数据增强，由学习型模拟器生成的轨迹在多大程度上能提升运动规划器的性能？
• RQ4 是否可通过多步更新实现仿真加速，同时不牺牲真实感或安全性？
• RQ5 运行时优化技术在减少碰撞的同时，对保持行为多样性有多有效？

主要发现

• TrafficSim 在所有基线模型中实现了最低的场景重建误差，包括启发式模型、运动预测模型和模仿学习模型。
• TrafficSim 生成场景中的碰撞率为 10.73%，显著低于启发式模型（如 IDM 为 22.05%），并具有与当前最先进模仿学习模型相当的性能。
• 在 TrafficSim 生成的合成数据上训练的运动规划器，其平均 L2 误差为 4.52m，优于在真实数据上训练的规划器（4.85m），并在进度指标上超越所有基线。
• 采用 $\kappa=4$ 的多步推理可实现高达 4 倍的仿真运行时加速（在 0.5Hz 下为 0.24s），同时对场景质量的退化可忽略不计。
• 通过梯度优化的运行时改进将碰撞率降低至 0.12%（无优化时为 0.50%），同时保持了逼真的轨迹多样性。
• 消融实验表明，通过仿真进行反向传播的闭环训练对生成鲁棒的长时程行为至关重要。

Figure 2: Complex human driving behavior observed in the real world: red is actor of interest, green are interacting actors