[论文解读] Navigating Intersections with Autonomous Vehicles using Deep Reinforcement Learning

David Isele, Akansel Cosgun+2 more|arXiv (Cornell University)|May 2, 2017

Autonomous Vehicle Technology and Safety参考文献 32被引用 35

一句话总结

本文提出了一种深度强化学习（DRL）方法，使自动驾驶车辆能够通过从动态交通交互中学习，安全高效地通过无信号交叉口。该方法在任务完成时间和成功率方面优于基于规则的启发式方法，同时发现了主动感知行为以应对遮挡问题，但泛化能力仍有限。

ABSTRACT

Providing an efficient strategy to navigate safely through unsignaled intersections is a difficult task that requires determining the intent of other drivers. We explore the effectiveness of Deep Reinforcement Learning to handle intersection problems. Using recent advances in Deep RL, we are able to learn policies that surpass the performance of a commonly-used heuristic approach in several metrics including task completion time and goal success rate and have limited ability to generalize. We then explore a system's ability to learn active sensing behaviors to enable navigating safely in the case of occlusions. Our analysis, provides insight into the intersection handling problem, the solutions learned by the network point out several shortcomings of current rule-based methods, and the failures of our current deep reinforcement learning system point to future research directions.

研究动机与目标

• 开发一种基于强化学习的策略，使自动驾驶车辆能够在驾驶员意图不明确的无信号交叉口安全行驶。
• 评估深度强化学习是否能在无信号交叉口导航任务中超越传统的基于规则的启发式方法。
• 研究智能体是否能够学习主动感知行为，以减轻遮挡带来的风险。
• 识别当前DRL系统在交叉口导航中的局限性，并提出未来研究方向。

提出的方法

• 该方法采用深度强化学习训练智能体，基于对周围交通的观测，在交叉口实时做出决策。
• 智能体通过观测车辆位置、速度和遮挡状态，推断交通动态并规划行动。
• 使用深度Q网络（DQN）或类似DRL架构，学习最大化稀疏密集奖励塑造的任务完成策略。
• 在包含多样化交通场景的仿真环境中进行训练，以增强鲁棒性。
• 通过奖励函数隐式学习主动感知行为，鼓励智能体通过调整位置或速度来减少不确定性。
• 使用任务完成时间、目标达成率和碰撞频率等指标评估性能。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在无信号交叉口导航中超越基于规则的启发式方法？
• RQ2 智能体学习了哪些主动感知行为以应对遮挡并减少不确定性？
• RQ3 训练后的策略在不同交通场景和交叉口几何布局下的泛化能力如何？
• RQ4 DRL系统存在哪些故障模式，暴露出当前方法的局限性？

主要发现

• 在仿真环境中，基于DRL的智能体相比启发式基线实现了更高的目标达成率。
• 智能体降低了平均任务完成时间，表明在穿越交叉口时效率更高。
• 系统学习到了主动感知行为，例如调整速度或位置，以减少遮挡场景下的不确定性。
• 尽管有所改进，但该策略在不同交叉口布局或交通密度下的泛化能力仍有限。
• DRL系统的主要故障原因是对训练场景的过拟合以及对分布偏移的敏感性。
• 结果凸显了当前基于规则方法的不足，例如在动态交通条件下缺乏灵活性。