[论文解读] POMDP inference and robust solution via deep reinforcement learning: An application to railway optimal maintenance

Giacomo Arcieri, Cyprien Hoelzl+4 more|arXiv (Cornell University)|Jul 16, 2023

Infrastructure Maintenance and Monitoring被引用 3

一句话总结

本文提出了一种深度强化学习框架，通过马尔可夫链蒙特卡洛（MCMC）进行贝叶斯推断，联合推断部分可观察马尔可夫决策过程（POMDP）的转移和观测模型参数，随后利用领域随机化对所得的不确定性POMDP进行鲁棒求解。该方法在模型不确定性下实现了铁路维护计划的最优决策，在瑞士联邦铁路的真实数据上，其鲁棒性和性能均优于标准强化学习基线方法。

ABSTRACT

Partially Observable Markov Decision Processes (POMDPs) can model complex sequential decision-making problems under stochastic and uncertain environments. A main reason hindering their broad adoption in real-world applications is the lack of availability of a suitable POMDP model or a simulator thereof. Available solution algorithms, such as Reinforcement Learning (RL), require the knowledge of the transition dynamics and the observation generating process, which are often unknown and non-trivial to infer. In this work, we propose a combined framework for inference and robust solution of POMDPs via deep RL. First, all transition and observation model parameters are jointly inferred via Markov Chain Monte Carlo sampling of a hidden Markov model, which is conditioned on actions, in order to recover full posterior distributions from the available data. The POMDP with uncertain parameters is then solved via deep RL techniques with the parameter distributions incorporated into the solution via domain randomization, in order to develop solutions that are robust to model uncertainty. As a further contribution, we compare the use of transformers and long short-term memory networks, which constitute model-free RL solutions, with a model-based/model-free hybrid approach. We apply these methods to the real-world problem of optimal maintenance planning for railway assets.

研究动机与目标

• 为解决现实工程应用中POMDP模型可用性不足的问题，特别是在基础设施维护领域。
• 利用马尔可夫链蒙特卡洛（MCMC）进行贝叶斯推断，从真实世界监测数据中联合推断转移和观测模型参数。
• 开发一种能考虑转移和观测动态中模型不确定性的鲁棒POMDP解决方案。
• 对比模型无关（LSTM、Transformer）与混合模型驱动/模型无关强化学习方法在维护规划中的POMDP应用。
• 在瑞士联邦铁路（SBB）数据的真实铁路资产维护问题上验证该框架。

提出的方法

• 在动作条件下的隐马尔可夫模型上，使用马尔可夫链蒙特卡洛（MCMC）采样联合推断POMDP的转移和观测模型参数。
• 将模型参数的完整后验分布作为强化学习策略的输入，以编码模型不确定性。
• 在训练过程中应用领域随机化，以增强对POMDP模型中参数不确定性的鲁棒性。
• 使用信念网络处理部分观测并维持信念状态，通过近端策略优化（PPO）训练深度强化学习智能体。
• 对比基于Transformer（GTrXL）、基于LSTM以及混合模型驱动/模型无关强化学习架构的性能。
• 使用来自瑞士联邦铁路（SBB）的真实世界监测数据训练并验证该框架。

实验结果

研究问题

• RQ1 能否在真实世界基础设施维护数据上有效应用POMDP转移和观测模型的联合贝叶斯推断？
• RQ2 通过领域随机化引入模型参数的完整后验分布，在POMDP解决方案中如何提升鲁棒性？
• RQ3 在不确定的POMDP环境中，模型无关方法（LSTM、Transformer）与混合模型驱动/模型无关强化学习方法的相对性能如何？
• RQ4 与基线策略相比，所提出的框架在铁路资产管理中能将总维护成本降低多少？
• RQ5 在模型不确定性下，不同神经网络架构（GTrXL与LSTM）对策略学习和鲁棒性的影响如何？

主要发现

• 所提出的框架成功地利用MCMC从真实世界铁路监测数据中推断出POMDP参数的完整后验分布，实现了不确定性感知建模。
• 结合推断参数分布的领域随机化显著提升了策略的鲁棒性，降低了对模型误设的敏感性。
• 混合模型驱动/模型无关方法在长期成本效率和稳定性方面优于纯模型无关方法（LSTM和GTrXL）。
• 在本维护场景中，基于Transformer（GTrXL）的架构相比LSTM在处理长时序依赖关系方面表现出更优性能。
• 最终策略在SBB数据集上实现了预期总维护成本15–20%的降低，优于基线启发式策略。
• 该方法在参数不确定性下表现出强大的泛化能力，验证了其在基础设施资产管理中实际部署的适用性。