[论文解读] Quadratic Q-network for Learning Continuous Control for Autonomous Vehicles

Pin Wang, Hanhan Li+1 more|arXiv (Cornell University)|Nov 29, 2019

Reinforcement Learning in Robotics参考文献 17被引用 9

一句话总结

本文提出了一种二次Q网络（Quadratic Q-network），通过将Q-learning与PID控制知识相结合，实现在动态驾驶场景中自动驾驶车辆的平稳、连续控制。通过将Q函数建模为动作的二次型，并集成领域特定的动作网络，该方法在无需策略梯度或离散动作量化的情况下，实现了在变道和匝道汇入任务中稳定且高奖励的驾驶策略。

ABSTRACT

Reinforcement Learning algorithms have recently been proposed to learn time-sequential control policies in the field of autonomous driving. Direct applications of Reinforcement Learning algorithms with discrete action space will yield unsatisfactory results at the operational level of driving where continuous control actions are actually required. In addition, the design of neural networks often fails to incorporate the domain knowledge of the targeting problem such as the classical control theories in our case. In this paper, we propose a hybrid model by combining Q-learning and classic PID (Proportion Integration Differentiation) controller for handling continuous vehicle control problems under dynamic driving environment. Particularly, instead of using a big neural network as Q-function approximation, we design a Quadratic Q-function over actions with multiple simple neural networks for finding optimal values within a continuous space. We also build an action network based on the domain knowledge of the control mechanism of a PID controller to guide the agent to explore optimal actions more efficiently.We test our proposed approach in simulation under two common but challenging driving situations, the lane change scenario and ramp merge scenario. Results show that the autonomous vehicle agent can successfully learn a smooth and efficient driving behavior in both situations.

研究动机与目标

• 解决自动驾驶中连续控制的挑战，因为标准强化学习在离散动作空间下会导致次优性能。
• 通过设计闭式最优动作解法，克服深度Q网络在连续动作空间中的局限性。
• 将经典控制理论（PID）的领域知识融入神经网络架构，以提升样本效率和策略平滑性。
• 在无需策略梯度的情况下，利用端到端的强化学习框架，成功学习复杂驾驶行为（如变道和匝道汇入）。
• 通过避免独立策略网络的使用并减少训练不稳定性，提供一种可扩展的策略梯度方法替代方案。

提出的方法

• 提出一种二次Q函数，将Q值参数化为动作的二次函数，从而实现最优动作的解析计算。
• 使用神经网络提取非线性状态特征，并将其作为输入送入二次Q函数。
• 基于PID控制原理设计动作网络，以引导探索并生成平滑、符合物理特性的动作。
• 使用经验回放缓冲区、经验回放和目标网络进行训练，采用Adam优化器和0.95的折扣因子。
• 采用大小为2000的记忆回放缓冲区和64的批量大小，每1000步更新一次目标网络。
• 采用双DQN方法结合优先经验回放，以提升训练稳定性和收敛性。

实验结果

研究问题

• RQ1 二次Q函数近似是否能实现自动驾驶中连续控制策略的高效且稳定学习？
• RQ2 将PID控制的领域知识整合到强化学习中，是否能提升样本效率和策略平滑性？
• RQ3 所提出的方法是否能在仿真环境中成功学习复杂的驾驶行为（如变道和匝道汇入）？
• RQ4 与采用离散动作量化的标准DQN相比，二次Q网络在驾驶平滑性和奖励累积方面是否表现更优？
• RQ5 基于控制理论的动作网络在多大程度上减少了探索时间并提升了连续控制任务中的收敛性？

主要发现

• 训练损失随时间逐渐收敛，累积总奖励稳步上升，表明驾驶行为被有效学习。
• 测试结果在每个检查点的100个回合中，平均奖励呈现持续上升趋势，证实了智能体学习到了鲁棒且可泛化的策略。
• 在最终训练阶段，变道场景中的轨迹显著比初始阶段更平滑、更稳定。
• 最终模型在匝道汇入场景中的加速度曲线更平滑，表明纵向控制能力提升，驾乘舒适性增强。
• 最终策略实现了安全、高效且舒适的驾驶行为，这与奖励函数设计一致，该设计优先考虑安全性、舒适性和效率。
• 该方法成功学习了连续控制策略，而无需依赖策略梯度方法或离散动作空间的近似。