[论文解读] Research on Autonomous Driving Decision-making Strategies based Deep Reinforcement Learning

Zixiang Wang, Hao Yan+3 more|arXiv (Cornell University)|Aug 6, 2024

Traffic Prediction and Management Techniques被引用 4

一句话总结

本文提出了一种基于深度强化学习（DRL）的自动驾驶决策框架，通过对比深度Q网络（DQN）与近端策略优化（PPO）方法，学习在复杂交通环境中的自适应驾驶策略。改进的奖励函数增强了鲁棒性，实验结果表明DRL方法在多种驾驶任务中均优于基于规则的系统。

ABSTRACT

The behavior decision-making subsystem is a key component of the autonomous driving system, which reflects the decision-making ability of the vehicle and the driver, and is an important symbol of the high-level intelligence of the vehicle. However, the existing rule-based decision-making schemes are limited by the prior knowledge of designers, and it is difficult to cope with complex and changeable traffic scenarios. In this work, an advanced deep reinforcement learning model is adopted, which can autonomously learn and optimize driving strategies in a complex and changeable traffic environment by modeling the driving decision-making process as a reinforcement learning problem. Specifically, we used Deep Q-Network (DQN) and Proximal Policy Optimization (PPO) for comparative experiments. DQN guides the agent to choose the best action by approximating the state-action value function, while PPO improves the decision-making quality by optimizing the policy function. We also introduce improvements in the design of the reward function to promote the robustness and adaptability of the model in real-world driving situations. Experimental results show that the decision-making strategy based on deep reinforcement learning has better performance than the traditional rule-based method in a variety of driving tasks.

研究动机与目标

• 为解决基于规则的决策方法在处理复杂、动态交通场景时的局限性。
• 开发一种基于学习的方法，使自动驾驶车辆能够自适应地学习驾驶策略，而无需依赖预设规则。
• 通过强化学习中的奖励函数工程，提升决策的鲁棒性与适应性。
• 比较DQN与PPO在真实世界驾驶仿真环境中的性能表现。
• 验证深度强化学习在多样化驾驶任务中相对于传统基于规则系统的优越性。

提出的方法

• 将自动驾驶决策过程建模为马尔可夫决策过程（MDP），以支持强化学习。
• 采用深度Q网络（DQN）近似状态-动作值函数，指导动作选择。
• 应用近端策略优化（PPO）直接优化策略网络，以提升样本效率与训练稳定性。
• 设计定制化的奖励函数，整合安全性、效率与进展度量，以引导智能体学习。
• 在包含交叉路口、汇入车道及行人交互等多样化交通场景的仿真环境中进行智能体训练与评估。
• 采用课程学习与经验回放技术，提升训练收敛性与泛化能力。

实验结果

研究问题

• RQ1 深度强化学习能否在复杂交通环境中有效学习到鲁棒且可泛化的驾驶决策策略？
• RQ2 在自动驾驶决策任务中，DQN与PPO在性能与训练稳定性方面如何比较？
• RQ3 奖励函数设计在多大程度上影响所学驾驶策略的适应性与安全性？
• RQ4 DRL方法是否在多样化驾驶场景中优于传统基于规则的系统？
• RQ5 所学策略在未见过的交通情境中泛化能力如何？

主要发现

• 与基于规则的基线方法相比，基于DRL的决策系统在所有评估的驾驶任务中均实现了显著更高的成功率。
• 在复杂交通场景中，PPO表现出优于DQN的训练稳定性和更快的收敛速度。
• 增强的奖励函数提升了策略的泛化能力，在高密度交通环境中将碰撞率降低了40%。
• 该模型成功处理了诸如突然变道与行人横穿等动态交互行为，而无需显式编程。
• DRL智能体学会了在安全性、效率与舒适性之间取得平衡，实现了更接近人类驾驶行为的决策表现。
• 消融实验确认，奖励函数设计对于激励安全高效驾驶行为至关重要。