[论文解读] Self-driving scale car trained by Deep reinforcement learning

Qi Zhang, Tao Du+1 more|arXiv (Cornell University)|Sep 8, 2019

Reinforcement Learning in Robotics参考文献 18被引用 21

一句话总结

本论文提出在基于Unity的虚拟仿真环境中，使用深度Q网络（DDQN）训练一辆1:16比例的自动驾驶汽车，随后将策略迁移到真实世界。通过预处理摄像头输入以分离车道线，并采用基于奖励的强化学习框架，汽车学习到自主保持在赛道中心行驶，成功实现了从仿真到现实的策略迁移，展现出稳定且可靠的现实世界驾驶性能。

ABSTRACT

The self-driving based on deep reinforcement learning, as the most important application of artificial intelligence, has become a popular topic. Most of the current self-driving methods focus on how to directly learn end-to-end self-driving control strategy from the raw sensory data. Essentially, this control strategy can be considered as a mapping between images and driving behavior, which usually faces a problem of low generalization ability. To improve the generalization ability for the driving behavior, the reinforcement learning method requires extrinsic reward from the real environment, which may damage the car. In order to obtain a good generalization ability in safety, a virtual simulation environment that can be constructed different driving scene is designed by Unity. A theoretical model is established and analyzed in the virtual simulation environment, and it is trained by double Deep Q-network. Then, the trained model is migrated to a scale car in real world. This process is also called a sim2real method. The sim2real training method efficiently handle the these two problems. The simulations and experiments are carried out to evaluate the performance and effectiveness of the proposed algorithm. Finally, it is demonstrated that the scale car in real world obtain the capability for autonomous driving.

研究动机与目标

• 开发一种通过强化学习自主学习驾驶策略的自动驾驶汽车，避免依赖人类示范。
• 通过在安全、模拟真实世界条件的仿真环境中训练，解决现实世界部署的挑战。
• 通过预处理视觉输入以聚焦车道线并减少背景噪声，提升鲁棒性。
• 验证在物理比例汽车上实现从仿真中训练的策略向现实世界迁移的可行性，且仅需极少的现实世界微调。
• 证明深度强化学习可在传感器故障情况下实现决策，而模仿学习方法则不具备此能力。

提出的方法

• 在Unity环境中使用自定义奖励函数，训练双深度Q网络（DDQN）智能体，将原始摄像头图像映射为转向指令。
• 使用Canny边缘检测和霍夫直线变换对输入图像进行预处理，以分离车道线，减少背景噪声。
• 将四帧连续处理后的图像（80x80）堆叠作为输入状态，以捕捉时间动态。
• 使用基于OpenAI Gym构建的虚拟仿真环境，赛道尺寸为3.5x4米，与真实世界尺寸一致，并遵循右侧行驶规则。
• 修改推理流程，将输出从Unity切换为在树莓派上实时使用摄像头输入，以实现真实世界部署。
• 实现一种奖励机制，对偏离赛道中心的行为进行惩罚，并鼓励平稳、连续的运动。

实验结果

研究问题

• RQ1 深度强化学习智能体是否能在无任何人类示范的情况下，于仿真环境中自主学习驾驶比例汽车？
• RQ2 在使用视觉预处理以分离车道线的前提下，虚拟到现实的策略迁移对自动驾驶汽车的有效性如何？
• RQ3 通过预处理摄像头输入仅提取车道线，是否能提升策略在现实世界部署中的泛化能力和鲁棒性？
• RQ4 与端到端的模仿学习相比，采用状态预处理的DDQN在处理传感器噪声和环境变化时表现如何？
• RQ5 在复杂操作如弯道行驶时，训练好的策略是否能保持稳定性和准确性？

主要发现

• DDQN智能体在Unity仿真环境中成功学习到稳定的驾驶策略，在多个训练周期中均能将汽车保持在赛道中心附近。
• 使用边缘检测和线段分割进行图像预处理，显著提升了智能体对车道线的关注度，并减少了对背景杂乱信息的过拟合。
• 策略成功从仿真环境迁移到真实世界，实体汽车能够沿赛道行驶、保持在右侧，并自主完成转弯。
• 尽管取得成功，训练时间增加，且在转弯过程中出现策略不稳定性，表明预处理过程中可能损失了部分有用的曲率和背景信息。
• 该方法证明，强化学习即使在某些感知模块失效的情况下，也能实现稳健的决策，而行为克隆方法则不具备此能力。