[论文解读] STMARL: A Spatio-Temporal Multi-Agent Reinforcement Learning Approach for Cooperative Traffic Light Control

Yanan Wang, Tong Xu+4 more|arXiv (Cornell University)|Aug 28, 2019

Traffic control and management参考文献 66被引用 11

一句话总结

该论文提出STMARL，一种用于协同交通灯控制的时空多智能体强化学习框架，通过有向交通灯邻接图建模空间依赖性，并利用循环神经网络（RNN）建模时间依赖性。通过将图神经网络与深度Q-learning相结合，STMARL实现了在交叉口之间的分布式、协调式决策，显著降低了合成环境与真实世界评估中的平均延迟和队列长度，在合肥数据集上实现了174.47秒的平均延迟，优于现有方法。

ABSTRACT

The development of intelligent traffic light control systems is essential for smart transportation management. While some efforts have been made to optimize the use of individual traffic lights in an isolated way, related studies have largely ignored the fact that the use of multi-intersection traffic lights is spatially influenced and there is a temporal dependency of historical traffic status for current traffic light control. To that end, in this paper, we propose a novel SpatioTemporal Multi-Agent Reinforcement Learning (STMARL) framework for effectively capturing the spatio-temporal dependency of multiple related traffic lights and control these traffic lights in a coordinating way. Specifically, we first construct the traffic light adjacency graph based on the spatial structure among traffic lights. Then, historical traffic records will be integrated with current traffic status via Recurrent Neural Network structure. Moreover, based on the temporally-dependent traffic information, we design a Graph Neural Network based model to represent relationships among multiple traffic lights, and the decision for each traffic light will be made in a distributed way by the deep Q-learning method. Finally, the experimental results on both synthetic and real-world data have demonstrated the effectiveness of our STMARL framework, which also provides an insightful understanding of the influence mechanism among multi-intersection traffic lights.

研究动机与目标

• 为解决孤立交通灯控制方法忽视多交叉口城市交通中空间与时间依赖性的问题。
• 基于道路网络拓扑结构，利用有向邻接图建模交通灯之间的相互影响。
• 通过循环神经网络（RNN）将历史交通模式融入实时决策，以建模时间依赖性。
• 通过图神经网络（GNN）与深度Q-learning实现多个交通灯之间的分布式、协调式控制。
• 在合成与真实世界交通场景中评估该框架在降低拥堵与改善交通流方面的有效性。

提出的方法

• 基于道路网络的空间拓扑结构构建有向交通灯邻接图，以表示交叉口之间的空间关系。
• 利用循环神经网络（RNN）将历史交通数据与当前状态结合，以捕捉交通流的时间依赖性。
• 采用图神经网络（GNN）建模交通灯之间的协作关系，实现在邻接图上的信息传递。
• 在每个交通灯处使用深度Q-learning实现去中心化决策，动作选择基于GNN处理后的时空状态表示。
• 使用多智能体强化学习目标端到端训练框架，以最小化平均延迟与队列长度。
• 在GNN中引入注意力机制，根据实时交通流量动态加权邻近交叉口的影响。

实验结果

研究问题

• RQ1 如何在多智能体强化学习框架中有效建模多个交通灯之间的时空依赖性？
• RQ2 将历史交通模式纳入控制策略在多大程度上提升了交通灯控制策略的性能？
• RQ3 基于图的交通灯邻接表示能否增强多个交叉口间的协调性并降低拥堵？
• RQ4 与现有方法相比，所提出的STMARL框架在延迟、队列长度及绿波形成方面表现如何？
• RQ5 GNN中的注意力机制为邻近交叉口的动态影响提供了哪些见解？

主要发现

• 在合肥真实世界数据集上，STMARL实现了36.10秒的最低平均延迟，显著优于Colight（273.92秒）与GCN-inter（62.74秒）。
• 模型将平均队列长度降低至26.14辆，远低于Colight的194.84辆与GCN-inter的35.88辆，展现出更优的拥堵缓解能力。
• GNN中的注意力权重与实时交通流量动态对齐，对车辆较多的流入方向赋予更高注意力，表明具备自适应协调能力。
• 多个交叉口间出现绿波现象——表现为南北方向绿灯相位同步，证明了智能体间有效协调。
• 绿波减少了单个交叉口的峰值车辆积压，实现了走廊上更平稳、更快速的交通流。
• 定性分析表明，交通灯智能体根据下游交通状况协调其相位，尤其在受高流量邻近交叉口影响时表现明显。