[论文解读] Smart Train Operation Algorithms based on Expert Knowledge and Reinforcement Learning

Kaichen Zhou, Shiji Song+3 more|arXiv (Cornell University)|Mar 6, 2020

Railway Systems and Energy Efficiency参考文献 37被引用 4

一句话总结

本文提出两种智能列车运行算法——STOD（基于深度确定性策略梯度）和STON（基于归一化优势函数）——将专家驾驶知识与强化学习相结合，以优化地铁系统的能耗效率、准点率和乘坐舒适度。与人工驾驶及现有ATO系统相比，该算法在不同运行时间与阻力条件下均表现出优越的性能，具备良好的灵活性与鲁棒性，且在使用北京亦庄线真实数据的仿真中，STON整体表现略优。

ABSTRACT

During recent decades, the automatic train operation (ATO) system has been gradually adopted in many subway systems for its low-cost and intelligence. This paper proposes two smart train operation algorithms by integrating the expert knowledge with reinforcement learning algorithms. Compared with previous works, the proposed algorithms can realize the control of continuous action for the subway system and optimize multiple critical objectives without using an offline speed profile. Firstly, through learning historical data of experienced subway drivers, we extract the expert knowledge rules and build inference methods to guarantee the riding comfort, the punctuality, and the safety of the subway system. Then we develop two algorithms for optimizing the energy efficiency of train operation. One is the smart train operation (STO) algorithm based on deep deterministic policy gradient named (STOD) and the other is the smart train operation algorithm based on normalized advantage function (STON). Finally, we verify the performance of proposed algorithms via some numerical simulations with the real field data from the Yizhuang Line of the Beijing Subway and illustrate that the developed smart train operation algorithm are better than expert manual driving and existing ATO algorithms in terms of energy efficiency. Moreover, STOD and STON can adapt to different trip times and different resistance conditions.

研究动机与目标

• 开发能够优化地铁系统能耗效率、准点率与乘坐舒适度的智能列车运行算法。
• 通过实现无需依赖预计算离线速度轨迹的连续动作控制，解决现有ATO系统的局限性。
• 将经验司机的知识融入强化学习框架，以提升策略的稳定性与实际应用可行性。
• 评估所提算法在不同运行时间与动态阻力条件下的灵活性与鲁棒性。
• 证明无需模型的强化学习若结合专家推理，可优于人工驾驶与传统ATO方法。

提出的方法

• 从经验地铁司机的历史驾驶数据中提取专家知识规则，用于建模舒适度、安全性与准点率。
• 设计一种知识引导的推理机制，将司机经验嵌入强化学习策略网络。
• 提出STOD，基于深度确定性策略梯度（DDPG）实现节能列车运行中的连续动作控制。
• 提出STON，基于归一化优势函数（NAF）提升连续控制任务中的样本效率与策略稳定性。
• 将专家规则整合至奖励函数与策略网络中，确保训练过程中满足安全与舒适约束。
• 基于北京亦庄线地铁的真实现场数据，在多种运行场景下对算法进行训练与验证。

实验结果

研究问题

• RQ1 结合专家知识的强化学习算法是否能在能耗效率上优于人工驾驶与现有ATO系统？
• RQ2 STOD与STON在不同运行时间下，其舒适度、准点率与安全性表现如何？
• RQ3 所提算法在轨道阻力变化（如天气或基础设施老化引起）时，其适应能力如何？
• RQ4 专家知识的整合在连续控制任务中如何提升深度强化学习的稳定性与收敛性？
• RQ5 在多种运行条件下，STOD与STON中哪一个算法展现出更优的性能与鲁棒性？

主要发现

• STOD与STON在能耗效率方面显著优于专家人工驾驶，STON在所有测试案例中均实现最低能耗。
• 两种算法在所有测试条件下均保持了准点率与安全性，时间误差控制在允许的3秒阈值内。
• STON整体表现优于STOD，尤其在能耗效率与舒适度方面表现更优，尽管在某一场景中比STOD多耗时2秒。
• 算法在梯度条件变化下表现出强鲁棒性，即使在环境或基础设施变化导致阻力波动时，仍保持稳定性能。
• 专家知识的整合提升了策略稳定性，降低了不安全动作的风险，使算法可在真实场景中可靠部署。
• 所提模型在处理不同运行时间方面表现出灵活性，STOD与STON在多种规划时长下均生成合理的控制策略。