[论文解读] Self-Awareness Safety of Deep Reinforcement Learning in Road Traffic Junction Driving

Zehong Cao, Jie Yun|arXiv (Cornell University)|Jan 20, 2022

Autonomous Vehicle Technology and Safety被引用 5

一句话总结

本文提出了一种基于注意力机制的自我意识模块，用于自动驾驶场景中深度强化学习（DRL）智能体的安全增强，以提升复杂道路交叉口处的安全性。通过将自注意力机制整合到DQN中，模型显著提升了情境感知能力，在环岛场景中大幅降低了碰撞率与冻结率——冻结率从50%降至3.28%，实现了96.7%的降低——同时保持了较高的成功与奖励表现。

ABSTRACT

Autonomous driving has been at the forefront of public interest, and a pivotal debate to widespread concerns is safety in the transportation system. Deep reinforcement learning (DRL) has been applied to autonomous driving to provide solutions for obstacle avoidance. However, in a road traffic junction scenario, the vehicle typically receives partial observations from the transportation environment, while DRL needs to rely on long-term rewards to train a reliable model by maximising the cumulative rewards, which may take the risk when exploring new actions and returning either a positive reward or a penalty in the case of collisions. Although safety concerns are usually considered in the design of a reward function, they are not fully considered as the critical metric to directly evaluate the effectiveness of DRL algorithms in autonomous driving. In this study, we evaluated the safety performance of three baseline DRL models (DQN, A2C, and PPO) and proposed a self-awareness module from an attention mechanism for DRL to improve the safety evaluation for an anomalous vehicle in a complex road traffic junction environment, such as intersection and roundabout scenarios, based on four metrics: collision rate, success rate, freezing rate, and total reward. Our two experimental results in the training and testing phases revealed the baseline DRL with poor safety performance, while our proposed self-awareness attention-DQN can significantly improve the safety performance in intersection and roundabout scenarios.

研究动机与目标

• 评估基线DRL模型（DQN、A2C、PPO）在复杂道路交叉口（如十字路口与环岛）中的安全性能。
• 识别现有DRL模型在安全方面的关键缺陷，特别是探索过程中出现的高冻结率与碰撞风险。
• 设计并实现一种基于注意力机制的自我意识模块，以提升实时情境感知能力与安全性评估。
• 在十字路口与环岛环境的训练与测试阶段，验证所提出的注意力-DQN模型的有效性。

提出的方法

• 将自注意力机制集成到DQN架构中，使智能体能够基于注意力权重动态聚焦于相关交通参与者。
• 使用与基线DRL模型相同的环境与奖励函数训练注意力-DQN模型，并以安全指标作为评估标准。
• 采用四项评估指标：碰撞率、成功率、冻结率与总累积奖励，以评估安全性能与整体表现。
• 在推理过程中可视化注意力图，分析智能体如何实时优先处理周围车辆与环境状态。
• 通过注意力机制提升长期决策能力，改善对动态与模糊交通情境的感知。
• 在两种复杂交叉口场景（十字路口与环岛）中，对基线DRL模型与所提出的注意力-DQN模型进行对比实验。

实验结果

研究问题

• RQ1 基线DRL模型（DQN、A2C、PPO）在复杂道路交叉口中的安全指标（碰撞率、冻结率、成功率与总奖励）表现如何？
• RQ2 基于注意力机制的自我意识模块在十字路口与环岛驾驶场景中，能在多大程度上降低碰撞率与冻结率？
• RQ3 尽管减少了碰撞，为何注意力机制在环岛场景中提升了安全性，而在十字路口场景中未见类似效果？
• RQ4 注意力机制如何影响智能体在动态与不确定交通条件下决策的置信度与路径规划？

主要发现

• 基线DRL模型（DQN、A2C、PPO）在环岛场景中表现出较差的安全性能，训练与测试阶段的冻结率均超过50%。
• 所提出的注意力-DQN模型在环岛场景中将测试阶段的冻结率降低至3.28%，训练阶段为15%，相比基线模型实现了96.7%的显著改善。
• 在十字路口场景中，注意力-DQN虽降低了碰撞率，但提高了冻结率，表明碰撞规避与路径连续性之间存在权衡。
• 注意力机制使本车能够更好地追踪并预测周围车辆的行为，尤其是在环岛入口等高不确定性区域。
• 注意力图显示，智能体优先关注来自左右两侧意图模糊的车辆，并根据距离与轨迹动态调整关注焦点。
• 该模型通过仅在环境被判定为安全时才重新聚焦于本车，显著提升了情境感知能力与决策置信度。