[论文解读] Reinforcement Learning Based Oscillation Dampening: Scaling up Single-Agent RL algorithms to a 100 AV highway field operational test

Kathy Jang, Nathan Lichtlé+11 more|arXiv (Cornell University)|Feb 26, 2024

Traffic control and management被引用 5

一句话总结

该论文记录了在 MegaVanderTest 上部署基于强化学习的控制器，这是用于平滑交通的最大的自动驾驶车辆现场测试，并分析仿真到部署的结果、安全考虑及鲁棒性。

ABSTRACT

In this article, we explore the technical details of the reinforcement learning (RL) algorithms that were deployed in the largest field test of automated vehicles designed to smooth traffic flow in history as of 2023, uncovering the challenges and breakthroughs that come with developing RL controllers for automated vehicles. We delve into the fundamental concepts behind RL algorithms and their application in the context of self-driving cars, discussing the developmental process from simulation to deployment in detail, from designing simulators to reward function shaping. We present the results in both simulation and deployment, discussing the flow-smoothing benefits of the RL controller. From understanding the basics of Markov decision processes to exploring advanced techniques such as deep RL, our article offers a comprehensive overview and deep dive of the theoretical foundations and practical implementations driving this rapidly evolving field. We also showcase real-world case studies and alternative research projects that highlight the impact of RL controllers in revolutionizing autonomous driving. From tackling complex urban environments to dealing with unpredictable traffic scenarios, these intelligent controllers are pushing the boundaries of what automated vehicles can achieve. Furthermore, we examine the safety considerations and hardware-focused technical details surrounding deployment of RL controllers into automated vehicles. As these algorithms learn and evolve through interactions with the environment, ensuring their behavior aligns with safety standards becomes crucial. We explore the methodologies and frameworks being developed to address these challenges, emphasizing the importance of building reliable control systems for automated vehicles.

研究动机与目标

• 在真实公路上进行的大规模AV现场测试（100辆AV）中，演示单智能体RL控制器用于交通平滑的部署。
• 解释从仿真到硬件部署的转换，以及基于真实轨迹数据建立的数据驱动、快速仿真器在其中的作用。
• 评估RL控制器在混合自治交通中的流量平滑效果及安全性考量。
• 在仿真和现场部署中，将RL控制器与传统基线（如FollowerStopper）进行比较。

提出的方法

• 在部分可观测马尔可夫决策过程（POMDP）框架内对控制问题进行建模。
• 使用带有近端策略优化（PPO）的策略梯度方法来训练控制器。
• 用智能驾驶模型（IDM）对人类驾驶行为建模，并引入字符串不稳定动态以产生真实的交通波。
• 开发一个基于I-24轨迹数据的数据驱动单车道仿真器，以实现快速训练和评估。
• 在MegaVanderTest现场试验中采用中央服务器–车辆通信方案，将RL控制器部署到AV上。

实验结果

研究问题

• RQ1 在大规模、现实世界的高速公路部署中，单智能体RL控制器在混合自治交通下的表现如何？
• RQ2 在仿真中训练的RL控制器能否有效迁移到硬件部署和实际交通中？与手设计的基线相比如何？
• RQ3 在不同的下游限速和穿透率下，RL控制器的安全性、鲁棒性和泛化特性是什么？
• RQ4 在高密度交通中，基于RL的波动阻尼对能耗和吞吐量的影响是什么？
• RQ5 数据驱动仿真器在实现现场就绪的RL控制器中，促进快速、真实的训练与评估的作用是什么？

主要发现

• 该研究记录了迄今（截至2023年）旨在平滑交通流的最大规模自动驾驶车辆现场测试。
• 一个基于I-24轨迹数据的数据驱动、快速仿真器，使RL控制器的快速训练与评估成为可能，并且最小化仿真到现实的差距。
• 在一个代表性波动阻尼场景中，在10%穿透率和下游限速为5 m/s的条件下训练的RL控制器，与无控制基线相比，平均燃油消耗下降了25%。
• RL控制器在穿透率和下游限速超出其训练领域时，仍表现出对变化的鲁棒性。
• 与FollowerStopper基线相比，RL控制器在各种训练与评估设置中能够泛化并超越，且不需要下游限速的知识。
• 部署框架包括集中规划和车辆级控制器，讨论了用于实际运行的安全措施和部分马尔可夫决策过程（PMDP）考量。