[论文解读] Survey of Deep Reinforcement Learning for Motion Planning of Autonomous Vehicles

Szilárd Aradi|arXiv (Cornell University)|Jan 30, 2020

Autonomous Vehicle Technology and Safety被引用 4

一句话总结

本综述回顾了深度强化学习（DRL）在自动驾驶车辆运动规划中的应用，重点聚焦于分层任务分解——战略层、行为决策层、运动规划层和控制层。它强调了DRL处理原始传感器数据以及应对复杂、部分可观测环境的能力，尽管在现实世界中的可迁移性、安全验证和计算需求方面仍存在未解决的挑战。

ABSTRACT

Academic research in the field of autonomous vehicles has reached high popularity in recent years related to several topics as sensor technologies, V2X communications, safety, security, decision making, control, and even legal and standardization rules. Besides classic control design approaches, Artificial Intelligence and Machine Learning methods are present in almost all of these fields. Another part of research focuses on different layers of Motion Planning, such as strategic decisions, trajectory planning, and control. A wide range of techniques in Machine Learning itself have been developed, and this article describes one of these fields, Deep Reinforcement Learning (DRL). The paper provides insight into the hierarchical motion planning problem and describes the basics of DRL. The main elements of designing such a system are the modeling of the environment, the modeling abstractions, the description of the state and the perception models, the appropriate rewarding, and the realization of the underlying neural network. The paper describes vehicle models, simulation possibilities and computational requirements. Strategic decisions on different layers and the observation models, e.g., continuous and discrete state representations, grid-based, and camera-based solutions are presented. The paper surveys the state-of-art solutions systematized by the different tasks and levels of autonomous driving, such as car-following, lane-keeping, trajectory following, merging, or driving in dense traffic. Finally, open questions and future challenges are discussed.

研究动机与目标

• 系统化梳理近年来在不同驾驶任务和分层结构下，深度强化学习（DRL）在自动驾驶车辆运动规划中的最新进展。
• 分析基于DRL的运动规划中的设计选择，包括状态表示、奖励塑造、环境建模和神经网络架构。
• 识别DRL在自动驾驶车辆中应用的开放性挑战，尤其关注安全性、鲁棒性、验证方法以及现实世界可迁移性。
• 评估DRL在端到端与模块化运动规划系统中的适用性，并与经典控制和优化方法进行比较。
• 指出当前研究中的空白，如传感器和环境模型过于简化，以及缺乏多样化、真实的仿真设置。

提出的方法

• 将运动规划划分为四个分层结构：路径规划、行为决策、轨迹生成和局部反馈控制。
• 回顾在行为决策和运动规划层级应用的DRL技术，强调有限动作的POMDP（部分可观测马尔可夫决策过程）在战略决策中的应用。
• 分析状态表示方法，包括连续状态与离散状态、基于网格的模型以及基于摄像头的感知模型。
• 考察针对如跟车、车道保持、变道和密集交通导航等任务定制的奖励塑造策略。
• 评估深度神经网络作为策略函数和价值函数的函数逼近器的使用，特别关注训练复杂度与超参数调优问题。
• 讨论仿真框架与计算需求，指出实时性能与可扩展性仍是重大挑战。

实验结果

研究问题

• RQ1 如何在不同驾驶任务中，有效应用深度强化学习于自动驾驶车辆的分层运动规划？
• RQ2 决定DRL在运动规划中成功的关键设计组件是什么？包括状态表示、奖励函数、动作空间和环境建模。
• RQ3 为何大多数DRL在自动驾驶车辆中的应用集中于子任务而非完整的端到端系统？
• RQ4 在安全性和验证方面，部署基于DRL的运动规划器在现实世界自动驾驶车辆中面临的主要障碍是什么？
• RQ5 如何改进仿真环境，以增强DRL智能体在真实驾驶场景中的鲁棒性与可迁移性？

主要发现

• DRL在处理复杂、部分可观测的驾驶场景（如变道和密集交通）方面展现出潜力，但多数研究仍集中于简化的子任务，因复杂性过高。
• 使用理想化或真实传感器模型会限制现实世界中的可迁移性，引入传感器噪声可提升鲁棒性。
• 在复杂场景中训练DRL智能体通常需要数百万次训练步骤，且因超参数调优与环境交互，训练过程可能持续数小时甚至数天。
• 尽管推理阶段计算成本较低，但高样本复杂度与漫长的训练时间使得DRL在未进行架构与算法改进前，难以实现全规模部署。
• 当前的验证实践常使用与训练相同的环境进行测试，违反了标准机器学习原则，降低了泛化能力的信心。
• 安全验证仍是关键开放问题，现有标准如ISO 26262和Automotive SPICE尚未完全涵盖基于深度学习的系统，且仅靠安全层无法在复杂场景中保证功能安全。