[论文解读] Partially Observable Reinforcement Learning for Intelligent Transportation Systems.

Rusheng Zhang, Akihiro Ishikawa+3 more|arXiv (Cornell University)|Jul 4, 2018

Traffic control and management被引用 8

一句话总结

本文提出了一种基于部分可观察马尔可夫决策过程（POMDP）的强化学习（RL）框架，用于智能交通系统（ITS），在车辆检测率较低的情况下通过V2I通信实现运行。通过利用RL处理DSRC支持车辆带来的部分可观测性问题，该系统显著降低了交叉口的平均车辆等待时间，即使检测率仅为20%，在各种交通和网络条件下均表现出稳健性能。

ABSTRACT

Intelligent Transportation Systems (ITS) have attracted the attention of researchers and the general public alike as a means to alleviate traffic congestion. Recently, the maturity of wireless technology has enabled a cost-efficient way to achieve ITS by detecting vehicles using Vehicle to Infrastructure (V2I) communications. Traditional ITS algorithms, in most cases, assume that every vehicle is observed, such as by a camera or a loop detector, but a V2I implementation would detect only those vehicles with wireless communications capability. We examine a family of transportation systems, which we will refer to as `Partially Detected Intelligent Transportation Systems'. An algorithm that can act well under a small detection rate is highly desirable due to gradual penetration rates of the underlying wireless technologies such as Dedicated Short Range Communications (DSRC) technology. Artificial Intelligence (AI) techniques for Reinforcement Learning (RL) are suitable tools for finding such an algorithm due to utilizing varied inputs and not requiring explicit analytic understanding or modeling of the underlying system dynamics. In this paper, we report a RL algorithm for partially observable ITS based on DSRC. The performance of this system is studied under different car flows, detection rates, and topologies of the road network. Our system is able to efficiently reduce the average waiting time of vehicles at an intersection, even with a low detection rate.

研究动机与目标

• 解决由于无线穿透受限（如DSRC）导致仅部分车辆可检测时，智能交通系统（ITS）中的交通控制挑战。
• 开发一种在部分可观测条件下有效运行的智能控制系统，无需依赖完全的车辆检测。
• 设计一种能够适应不同检测率、交通流和道路网络拓扑结构的强化学习算法。
• 在无法完整感知交通状况的情况下，最小化交叉口的平均车辆等待时间。
• 证明强化学习在具有现实检测限制的真实ITS场景中的可行性与鲁棒性。

提出的方法

• 将交通控制问题建模为部分可观察马尔可夫决策过程（POMDP），以处理车辆状态信息不完整的问题。
• 使用深度强化学习智能体，仅观察DSRC支持车辆，并从部分观测中推断交通状态。
• 设计一种奖励函数，对长时间等待进行惩罚，并鼓励交叉口实现高效的信号配时。
• 使用经验回放和目标网络训练RL智能体，以在非平稳交通条件下稳定学习。
• 将策略集成到模拟环境中，该环境可建模动态车辆流和可变检测率。
• 在多种道路网络拓扑结构和不同车辆检测率（10%至80%）下评估系统性能。

实验结果

研究问题

• RQ1 在V2I支持的ITS中，随着车辆检测率下降，基于强化学习的交通控制器性能如何退化？
• RQ2 当仅部分车辆可检测时，部分可观察RL框架能否有效学习最优信号配时决策？
• RQ3 在低检测率下，系统在不同交通流强度和道路网络配置下的表现如何？
• RQ4 在交通状态可观测性不完整的情况下，RL智能体在多大程度上能减少平均车辆等待时间？
• RQ5 基于RL的系统在何种最低检测率下能够优于传统固定周期信号控制？

主要发现

• 所提出的基于RL的系统即使在20%的低检测率下，也能显著减少交叉口的平均车辆等待时间。
• 系统在各种交通条件和道路网络拓扑结构下均保持强劲性能，表现出对环境变化的鲁棒性。
• RL智能体能够从部分观测中推断交通状态，实现在无完全车辆可视情况下的有效信号配时决策。
• 性能提升在低至中等检测率范围内保持一致，表明其可扩展至早期DSRC部署阶段。
• 在等待时间减少方面，该系统优于基线的固定周期信号控制策略，尤其在低检测条件下表现更优。
• 该算法在多次模拟运行中表现出稳定的学习行为和收敛性，表明其在动态环境中的可靠性。