[论文解读] Permissive Finite-State Controllers of POMDPs using Parameter Synthesis

Sebastian Junges, Nils Jansen+5 more|arXiv (Cornell University)|Oct 24, 2017

Reinforcement Learning in Robotics参考文献 1被引用 5

一句话总结

本文提出了一种新颖的方法，通过将问题简化为参数化马尔可夫链（pMCs）中的参数合成，以合成可证明正确、有限内存、随机化的控制器（FSCs），适用于部分可观察马尔可夫决策过程（POMDPs）。该方法利用现有的pMC工具（如PRISM和PARAM）高效计算出宽松的、近似最优的FSCs，实现在标准基准测试中与最先进POMDP求解器相当的性能，通常在小内存约束下仅需数秒即可完成。

ABSTRACT

We study finite-state controllers (FSCs) for partially observable Markov decision processes (POMDPs) that are provably correct with respect to given specifications. The key insight is that computing (randomised) FSCs on POMDPs is equivalent to - and computationally as hard as - synthesis for parametric Markov chains (pMCs). This correspondence allows to use tools for parameter synthesis in pMCs to compute correct-by-construction FSCs on POMDPs for a variety of specifications. Our experimental evaluation shows comparable performance to well-known POMDP solvers.

研究动机与目标

• 解决在复杂规范（如期望奖励和可达-避免概率）下，为POMDPs合成正确性可构造的有限状态控制器（FSCs）的挑战。
• 弥合POMDP策略合成与参数化马尔可夫链（pMC）参数合成之间的差距，表明二者在计算上是等价的。
• 使成熟且高度优化的pMC合成工具（如PRISM、PARAM）可用于POMDPs中的FSC生成，为专用POMDP求解器提供一种有竞争力的替代方案。
• 探索并形式化FSCs中的宽松策略作为参数实例化区域，提升控制合成的鲁棒性与灵活性。
• 在标准POMDP基准上评估该方法，展示其在小内存约束下的可扩展性与近似最优性。

提出的方法

• 关键洞见是：具有固定FSC结构的POMDP与参数化马尔可夫链（pMC）同构，其中转移概率由FSC的动作选择参数化。
• 将FSC合成问题简化为pMC中的参数合成：POMDP的一个策略对应于pMC中的一个参数实例化。
• 该方法使用最先进的pMC工具（如PRISM、PARAM、PROPhESY）求解参数合成问题，利用其优化能力和可扩展性。
• 评估了两种参数合成技术：序列二次规划（QCQP）和粒子群优化（PSO），二者均用于寻找满足规范的参数实例化。
• 通过识别满足规范的参数值区域而非单一最优点，该方法支持宽松策略。
• 该方法包含机制，通过SMT和参数提升技术证明ε-最优性，即在给定阈值之外不存在更优策略。

实验结果

研究问题

• RQ1 能否使用现有的参数合成工具，以正确性可构造的方式合成POMDPs的有限状态控制器（FSCs）？
• RQ2 POMDPs中FSC合成的计算复杂度与pMCs中参数合成的计算复杂度有何关系？
• RQ3 基于pMC的合成能否生成在性能和最优性方面与专用POMDP求解器相当或更优的FSCs？
• RQ4 内存大小和FSC拓扑结构（如全连接型与计数器型）对合成过程的可扩展性和性能有何影响？
• RQ5 该方法能否证明所合成FSCs的ε-最优性，并计算出诱导概率的闭式表达式？

主要发现

• 本文建立了POMDPs中FSC合成与pMCs中参数合成之间的正式等价性，表明两个问题具有同等难度。
• 该方法实现了具有竞争力的性能：在小内存约束（k ≤ 8）下，数千状态的许多基准测试均在一秒内完成。
• 在相同基准集上，PSO与QCQP表现出互补性能——两者在不同实例上各有优势，QCQP在某些情况下更快，而PSO在另一些情况下更优。
• 该方法成功证明了在内存大小k=8范围内的非平凡阈值下ε-最优性，即使参数数量达数百个，也通过参数提升和SMT技术实现。
• 对于小内存约束，计算出了闭式解，尽管复杂度差异显著——例如，某一情形得到常数函数，而另一情形则产生约一百万个项的有理函数。
• 计数器型FSCs（其中内存节点按顺序推进）可减少参数爆炸，相比全连接型FSCs，能支持更大规模实例的求解。