[论文解读] Partially Detected Intelligent Traffic Signal Control: Environmental Adaptation

Rusheng Zhang, Romain Leteurtre+4 more|arXiv (Cornell University)|Oct 23, 2019

Traffic control and management参考文献 21被引用 6

一句话总结

本文提出采用基于策略的强化学习方法（PPO、A2C、ACKTR）用于部分检测下的智能交通信号控制（PD-ITSC），以适应动态检测率和车流量变化。与基于价值的Q-learning相比，基于策略的方法在动态环境中展现出更优的稳定性与适应性，即使在检测稀疏的情况下也能保持较低的平均等待时间，因此更适合在成本效益高的智能交通系统中实际部署。

ABSTRACT

Partially Detected Intelligent Traffic Signal Control (PD-ITSC) systems that can optimize traffic signals based on limited detected information could be a cost-efficient solution for mitigating traffic congestion in the future. In this paper, we focus on a particular problem in PD-ITSC - adaptation to changing environments. To this end, we investigate different reinforcement learning algorithms, including Q-learning, Proximal Policy Optimization (PPO), Advantage Actor-Critic (A2C), and Actor-Critic with Kronecker-Factored Trust Region (ACKTR). Our findings suggest that RL algorithms can find optimal strategies under partial vehicle detection; however, policy-based algorithms can adapt to changing environments more efficiently than value-based algorithms. We use these findings to draw conclusions about the value of different models for PD-ITSC systems.

研究动机与目标

• 解决在部分检测环境下，交通信号控制适应变化检测率的挑战。
• 评估多种强化学习算法在检测不完全的动态交通场景下的性能表现。
• 确定在环境变化下，哪些强化学习算法最有效且稳定，适合在真实世界PD-ITSC系统中部署。
• 探究仅针对检测到的车辆进行优化是否能实现对所有车辆的近似最优性能，特别是在高密度交通情况下。
• 评估仅使用部分配备车辆的低成本智能交通系统部署的可行性。

提出的方法

• 在模拟的城市交通环境中实现并对比四种强化学习算法：Q-Learning（基于价值）、PPO、A2C和ACKTR（基于策略）。
• 使用LuST交通仿真环境，模拟不同检测率和车辆密度下的真实交通流。
• 采用部分奖励设置，仅检测到的车辆对即时奖励信号有贡献。
• 模拟一个动态环境，其中检测率在三年内线性地从0.1增加到1.0，以测试算法的适应能力。
• 训练智能体以最小化平均车辆等待时间，并分别追踪检测到和未检测到车辆的等待时间。
• 在三种交通状态（稀疏交通（午夜）、中等交通（下午）和密集交通（高峰时段））下评估性能。

实验结果

研究问题

• RQ1 强化学习算法能否在部分车辆检测条件下有效优化交通信号控制？
• RQ2 基于价值的（Q-Learning）与基于策略的（PPO、A2C、ACKTR）强化学习算法在适应变化检测率方面有何差异？
• RQ3 仅针对检测到的车辆进行优化是否能实现对所有车辆的近似最优性能，特别是在高密度交通情况下？
• RQ4 不同强化学习算法在高噪声和检测模式快速变化的环境中表现如何？
• RQ5 检测率的提升对整体系统性能以及检测到与未检测到车辆之间的公平性有何影响？

主要发现

• 所有测试的强化学习算法，包括Q-Learning，在部分检测条件下均可找到近似最优策略，但基于策略的方法对环境变化的适应效率更高。
• Q-Learning在早期部署阶段表现出不稳定性，由于环境噪声过高，导致灾难性更新，从而增加等待时间。
• 基于策略的算法（PPO、A2C、ACKTR）在检测率动态变化时展现出显著更优的稳定性与更低的性能方差。
• 在高密度交通条件下，检测到与未检测到车辆之间的等待时间差距显著缩小，表明仅优化检测到的车辆可近似实现全局优化。
• 随着检测率的提高，所有算法下所有车辆的平均等待时间均下降，证实了PD-ITSC系统的可扩展性与优势。
• 在性能一致性方面，PPO和A2C略优于ACKTR，在动态环境模拟中随时间变化的偏差更小。