[论文解读] Optimizing Mixed Autonomy Traffic Flow With Decentralized Autonomous Vehicles and Multi-Agent RL

Eugene Vinitsky, Nathan Lichtlé+2 more|arXiv (Cornell University)|Oct 30, 2020

Traffic control and management参考文献 24被引用 9

一句话总结

该论文提出了一种去中心化的多智能体强化学习（MARL）框架，用于自动驾驶车辆（AVs）在双阶段瓶颈（如旧金山-奥克兰海湾大桥）中优化交通流量。仅依赖本地感知且无需集中协调，该方法在40% AV渗透率下实现了高达33%的吞吐量提升，超越了人工调校的反馈控制器，性能与固定信号灯相当，尽管在高渗透率下存在训练不稳定性。

ABSTRACT

We study the ability of autonomous vehicles to improve the throughput of a bottleneck using a fully decentralized control scheme in a mixed autonomy setting. We consider the problem of improving the throughput of a scaled model of the San Francisco-Oakland Bay Bridge: a two-stage bottleneck where four lanes reduce to two and then reduce to one. Although there is extensive work examining variants of bottleneck control in a centralized setting, there is less study of the challenging multi-agent setting where the large number of interacting AVs leads to significant optimization difficulties for reinforcement learning methods. We apply multi-agent reinforcement algorithms to this problem and demonstrate that significant improvements in bottleneck throughput, from 20\% at a 5\% penetration rate to 33\% at a 40\% penetration rate, can be achieved. We compare our results to a hand-designed feedback controller and demonstrate that our results sharply outperform the feedback controller despite extensive tuning. Additionally, we demonstrate that the RL-based controllers adopt a robust strategy that works across penetration rates whereas the feedback controllers degrade immediately upon penetration rate variation. We investigate the feasibility of both action and observation decentralization and demonstrate that effective strategies are possible using purely local sensing. Finally, we open-source our code at https://github.com/eugenevinitsky/decentralized_bottlenecks.

研究动机与目标

• 设计一种基于多智能体强化学习的去中心化控制策略，以在基础设施最少的混合自主环境中提升交通吞吐量。
• 评估MARL在具有延迟奖励和复杂责任分配挑战的大规模多智能体环境中的有效性。
• 探究是否仅通过本地感知即可实现有效控制，而无需获取宏观交通数据。
• 将学习到的MARL策略与人工设计的反馈控制器进行对比，并评估其在不同AV渗透率下的鲁棒性。
• 探讨开放交通网络中纳什均衡与社会最优均衡的一致性，并提出一种协调二者的方法。

提出的方法

• 研究采用旧金山-奥克兰海湾大桥瓶颈的缩略仿真，其中四条车道缩减为两条，再缩减为一条。
• 采用多智能体强化学习设置，每辆AV独立运行，使用基于本地观测和动作的独立Q-learning。
• 环境建模为马尔可夫决策过程，奖励稀疏且延迟，基于随时间累积的流出量。
• 使用带有经验回放和目标网络的独立深度Q网络（DQN）进行策略训练，重点是最大化累积吞吐量。
• 评估动作与观测的去中心化，测试在完全本地感知条件下的性能。
• 引入一种新颖技巧，通过修改奖励结构以激励集体吞吐量最大化，实现纳什均衡与社会福利的对齐。

实验结果

研究问题

• RQ1 去中心化的多智能体强化学习能否在混合自主交通环境中有效优化瓶颈吞吐量？
• RQ2 MARL控制器在不同AV渗透率下与人工设计的反馈控制器相比表现如何？
• RQ3 在缺乏全局交通状态信息的情况下，仅通过本地感知能在多大程度上实现有效控制？
• RQ4 MARL策略是否对AV渗透率变化具有鲁棒性，而传统反馈控制器则不具备？
• RQ5 能否通过奖励工程使系统的纳什均衡与社会最优一致？

主要发现

• 在5% AV渗透率下，MARL控制器相比基线人工驾驶流量，使瓶颈吞吐量提升了20%。
• 在40%渗透率下，吞吐量提升达到33%，与固定信号灯性能相当。
• 尽管经过大量调优，人工设计的反馈控制器在渗透率变化时性能显著下降，而MARL策略在不同渗透率下均保持鲁棒。
• MARL策略仅通过本地感知即实现了有效协调，表明全局信息并非高性能的必要条件。
• 高渗透率下训练不稳定性增加，源于多智能体Q-learning中的非平稳性，提示需要使用MADDPG或QMIX等集中式评论家。
• 初步结果表明，人类驾驶员的变道行为会损害控制器性能，提示需要AV协调以避免此类行为。