[论文解读] Using Reinforcement Learning with Partial Vehicle Detection for Intelligent Traffic Signal Control

Rusheng Zhang, Akihiro Ishikawa+3 more|arXiv (Cornell University)|Jul 4, 2018

Traffic control and management参考文献 74被引用 17

一句话总结

本文提出了一种基于深度Q-learning的强化学习框架，用于在部分检测环境下实现智能交通信号控制，其中仅通过V2I通信（如DSRC、蓝牙）检测到部分车辆。尽管检测率较低，该系统仍显著降低了平均车辆等待时间，在不同交通流量和网络拓扑结构下表现出稳健性能，且被检测车辆的受益程度高于未被检测车辆。

ABSTRACT

Intelligent Transportation Systems (ITS) have attracted the attention of researchers and the general public alike as a means to alleviate traffic congestion. Recently, the maturity of wireless technology has enabled a cost-efficient way to achieve ITS by detecting vehicles using Vehicle to Infrastructure (V2I) communications. Traditional ITS algorithms, in most cases, assume that every vehicle is observed, such as by a camera or a loop detector, but a V2I implementation would detect only those vehicles with wireless communications capability. We examine a family of transportation systems, which we will refer to as `Partially Detected Intelligent Transportation Systems'. An algorithm that can act well under a small detection rate is highly desirable due to gradual penetration rates of the underlying wireless technologies such as Dedicated Short Range Communications (DSRC) technology. Artificial Intelligence (AI) techniques for Reinforcement Learning (RL) are suitable tools for finding such an algorithm due to utilizing varied inputs and not requiring explicit analytic understanding or modeling of the underlying system dynamics. In this paper, we report a RL algorithm for partially observable ITS based on DSRC. The performance of this system is studied under different car flows, detection rates, and topologies of the road network. Our system is able to efficiently reduce the average waiting time of vehicles at an intersection, even with a low detection rate.

研究动机与目标

• 解决由于V2I技术采用率有限，仅部分车辆可被检测时，智能交通信号控制所面临的挑战。
• 开发一种基于强化学习的控制系统，使其在可观测性受限、检测率低且逐步提升的条件下仍能有效运行。
• 评估所提方法在不同交通状况、检测率和道路网络类型下的性能表现。
• 通过分析被检测车辆与未被检测车辆之间的收益差异，探索系统的商业可行性，为私营部门部署提供激励。
• 为未来扩展奠定基础，包括多智能体协同控制以及通过车辆检测即服务实现动态定价。

提出的方法

• 系统采用深度Q-learning（DQN）学习基于V2I通信中车辆存在部分观测的最优交通信号相位切换。
• 状态表示包括各进口道的队列长度和车辆数量，仅使用被检测车辆的数据来估计交通状况。
• Q网络在仿真环境中通过经验回放和目标网络进行训练，以稳定学习过程，奖励函数基于平均等待时间减少的稀疏奖励。
• 该算法在多种场景下进行评估：稀疏、中等和密集交通流，以及不同道路网络类型（如LuST、网格型）。
• 该方法可泛化至任何部分检测系统，包括DSRC、RFID、BLE或基于蜂窝网络的检测。
• 性能通过平均车辆等待时间和队列长度进行衡量，并对检测率和交通流量进行敏感性分析。

实验结果

研究问题

• RQ1 当仅通过V2I技术检测到部分车辆时，强化学习能否有效优化交通信号控制？
• RQ2 系统性能如何随不同车辆检测率和交通流强度而变化？
• RQ3 系统是否为被检测车辆与未被检测车辆提供差异化收益，且该差异能否支撑可行的商业商业模式？
• RQ4 当测试条件与训练条件存在分布偏移时，RL智能体的鲁棒性如何？
• RQ5 该系统能否支持未来扩展，如动态定价或多路口协同控制？

主要发现

• 基于强化学习的控制器显著降低了交叉口的平均车辆等待时间，即使在检测率较低的情况下，也表现出对不同交通状况的强泛化能力。
• 随着检测率的提高，性能渐近提升，表明随着更多车辆可被检测，系统持续获得收益。
• 被检测车辆的等待时间减少程度高于未被检测车辆，为私营部门部署创造了自然激励。
• 系统在多种网络拓扑结构下保持强劲性能，包括LuST配置等复杂场景，即使测试条件与训练条件不同亦然。
• 结果表明，系统可通过将车辆检测视为服务，支持动态定价模型，使付费用户可优先获得信号相位。
• 由于分布式激励机制，该框架具备可扩展性和经济可行性，降低了对仅由政府主导部署模式的依赖。