[论文解读] What is Decidable about Partially Observable Markov Decision Processes with {\omega}-Regular Objectives

Krishnendu Chatterjee, Martin Chmelík+1 more|arXiv (Cornell University)|Sep 11, 2013

Formal Methods in Verification参考文献 25被引用 16

一句话总结

该论文确立了在有限记忆策略下，具有ω-regular目标（特别是parity目标）的不完全可观测马尔可夫决策过程（POMDPs）的定性分析的可判定性与最优复杂度。证明了几乎必然获胜与正获胜问题均为EXPTIME-完全，并提出了一种具有最优指数级内存界限的算法，解决了该类问题长期存在的不可判定性结果。

ABSTRACT

We consider partially observable Markov decision processes (POMDPs) with ω-regular conditions specified as parity objectives. The qualitative analysis problem given a POMDP and a parity objective asks whether there is a strategy to ensure that the objective is satisfied with probability 1 (resp. positive probability). While the qualitative analysis problems are known to be undecidable even for very special cases of parity objectives, we establish decidability (with optimal EXPTIMEcomplete complexity) of the qualitative analysis problems for POMDPs with all parity objectives under finite-memory strategies. We also establish optimal (exponential) memory bounds.

研究动机与目标

• 为解决POMDPs中具有ω-regular目标（特别是parity目标）的定性分析长期存在的不可判定性问题。
• 确定有限记忆策略是否可使定性分析问题变为可判定且可高效求解。
• 为几乎必然获胜与正获胜策略的存在性建立紧致的复杂度界限——具体为EXPTIME-完全性。
• 为具有parity目标的POMDPs中的有限记忆策略提供最优的指数级内存界限。
• 通过解决一类典型目标的可判定性，弥合概率系统验证中的理论空白。

提出的方法

• 通过多项式时间变换将具有parity目标的POMDPs约化为co-Büchi目标，利用LAR约化技术。
• 构建一个大小为指数级的信念-观测POMDP，以在有限记忆策略下模拟原始POMDP。
• 在信念状态上进行不动点计算，以计算安全与到达目标的几乎必然获胜集合，这些是co-Büchi与parity目标的子程序。
• 使用递归不动点算法，计算从哪些状态出发，目标集将被无限次几乎必然访问。
• 在信念状态上采用无记忆随机策略，以确保安全与到达性，从而支持获胜策略的构建。
• 通过反证法与归纳不变性证明正确性，表明任何几乎必然获胜策略必须保持在获胜信念集合内。

实验结果

研究问题

• RQ1 尽管在一般情况下该问题不可判定，但在有限记忆策略下，具有parity目标的POMDPs的定性分析问题是否可判定？
• RQ2 在具有parity目标的POMDPs中，判定有限记忆几乎必然或正获胜策略存在的精确计算复杂度为何？
• RQ3 能否为该设置下的有限记忆策略建立最优的指数级内存界限？
• RQ4 该问题能否约化为更简单的目标（如安全、到达或co-Büchi目标），以实现高效计算？
• RQ5 该问题是否为EXPTIME-完全？该界是否既能被达到，也能被算法匹配？

主要发现

• 在有限记忆策略下，具有parity目标的POMDPs的定性分析问题是可判定的，且为EXPTIME-完全。
• 存在一种算法，可在时间 2^O(|S|·d) 内求解该问题，其中 |S| 为状态数，d 为优先级数。
• 本文证明了有限记忆策略的最优内存界限在状态空间大小上为指数级。
• co-Büchi目标的几乎必然获胜集合可在信念-观测POMDP表示的二次时间复杂度内计算。
• 通过约化至B"uchi目标，正获胜问题也被证明为EXPTIME-完全。
• 通过LAR约化，该结果可推广至Muller目标，得到时间复杂度为 2^O(d!·d²·|S|) 的算法，该复杂度在d上为双指数级，但在|S|上为指数级。