[论文解读] SAINT-ACC: Safety-Aware Intelligent Adaptive Cruise Control for Autonomous Vehicles Using Deep Reinforcement Learning

Lokesh Chandra Das, Myounggyu Won|arXiv (Cornell University)|Mar 6, 2021

Traffic control and management参考文献 34被引用 6

一句话总结

本文提出SAINT-ACC，一种基于双深度强化学习智能体的安全感知自适应巡航控制系统，可利用实时宏观与微观交通数据动态优化车车间距。在具有汇入与驶出交通的复杂高速公路场景中，该系统相较基线系统实现最高91.5%的驾驶安全性提升与11.8%的交通效率提升。

ABSTRACT

We present a novel adaptive cruise control (ACC) system namely SAINT-ACC: {S}afety-{A}ware {Int}elligent {ACC} system (SAINT-ACC) that is designed to achieve simultaneous optimization of traffic efficiency, driving safety, and driving comfort through dynamic adaptation of the inter-vehicle gap based on deep reinforcement learning (RL). A novel dual RL agent-based approach is developed to seek and adapt the optimal balance between traffic efficiency and driving safety/comfort by effectively controlling the driving safety model parameters and inter-vehicle gap based on macroscopic and microscopic traffic information collected from dynamically changing and complex traffic environments. Results obtained through over 12,000 simulation runs with varying traffic scenarios and penetration rates demonstrate that SAINT-ACC significantly enhances traffic flow, driving safety and comfort compared with a state-of-the-art approach.

研究动机与目标

• 填补现有自适应巡航控制系统中过度侧重交通流而忽视驾驶安全与舒适性的空白。
• 在动态复杂交通环境中提升安全评估能力，此类环境下的静态安全模型会失效。
• 通过自适应车车间距控制，同时优化交通效率、驾驶安全与驾驶舒适性。
• 开发一种动态安全模型，利用强化学习实时调整碰撞前时间（TTC）阈值。
• 在包括匝道出入口、高比例自动驾驶车辆等多样化交通条件下，验证系统的鲁棒性。

提出的方法

• 采用双强化学习架构：一个智能体优化车车间距，另一个动态调整安全性的TTC阈值。
• 将宏观交通数据（如交通密度、流量）与微观交通数据（如相对速度、距离）作为双智能体的状态输入。
• 在结合SUMO（交通仿真器）与Veins（车载网络仿真器）的仿真环境中训练RL智能体，以实现真实高速公路场景的模拟。
• 设计奖励函数，平衡交通效率（通过速度与流量衡量）、驾驶安全（通过近似碰撞次数）与驾驶舒适性（通过加速度方差）。
• 根据动态演变的交通状况实时更新TTC阈值，相较于固定阈值，显著提升安全模型的适应性。
• 采用1秒的控制决策更新间隔，以实现对实时交通变化的快速响应。

实验结果

研究问题

• RQ1 基于深度强化学习的系统能否在复杂多变的交通环境中动态调整TTC阈值，以提升安全性？
• RQ2 与静态或基于规则的ACC系统相比，自适应车车间距控制在多大程度上提升了交通效率、安全性与驾驶舒适性？
• RQ3 SAINT-ACC在存在汇入与驶出车辆等不同交通条件下，性能表现如何？
• RQ4 双强化学习架构的计算开销如何？是否适合在自动驾驶车辆中实现实时部署？
• RQ5 系统性能对车车间距控制更新间隔的敏感度如何？

主要发现

• 在高驶出交通密度（2,000辆/小时/公里）条件下，SAINT-ACC相较基线系统实现最高91.5%的驾驶安全性提升。
• 在相同高驶出交通密度条件下，相较最先进方法（Zhu et al., 2020）实现24%的安全性提升。
• 相较于基线系统，交通效率最高提升11.8%，相较于Zhu的方法提升4.1%，尤其在汇入交通条件下表现更优。
• 相较基线系统，驾驶舒适性最高提升41.3%；相较Zhu的方法提升7.6%，主要得益于更平滑的加速度曲线。
• SAINT-ACC的平均计算延迟为26.9ms，处于实时控制可接受范围内（1秒更新间隔）。
• 当更新间隔超过3秒时，性能仅轻微下降，表明1至3秒的更新间隔为实现最佳响应速度的最优选择。