[论文解读] Planning in POMDPs Using Multiplicity Automata

Eyal Even-Dar, Sham M. Kakade+1 more|arXiv (Cornell University)|Jul 4, 2012

Machine Learning and Algorithms参考文献 16被引用 10

一句话总结

本文提出了一种基于多重性自动机（multiplicity automata）的新型部分可观察马尔可夫决策过程（POMDPs）规划方法，该方法通过捕捉其预测状态结构，高效地表示POMDPs。通过证明多重性自动机的大小等于预测状态表示（PSR）的秩，该方法将规划复杂度降低为仅依赖于PSR秩，而非完整的POMDP状态空间，从而在PSR为低秩时实现高效规划——在结构化POMDP中实现指数级加速。

ABSTRACT

Planning and learning in Partially Observable MDPs (POMDPs) are among the most challenging tasks in both the AI and Operation Research communities. Although solutions to these problems are intractable in general, there might be special cases, such as structured POMDPs, which can be solved efficiently. A natural and possibly efficient way to represent a POMDP is through the predictive state representation (PSR) - a representation which recently has been receiving increasing attention. In this work, we relate POMDPs to multiplicity automata- showing that POMDPs can be represented by multiplicity automata with no increase in the representation size. Furthermore, we show that the size of the multiplicity automaton is equal to the rank of the predictive state representation. Therefore, we relate both the predictive state representation and POMDPs to the well-founded multiplicity automata literature. Based on the multiplicity automata representation, we provide a planning algorithm which is exponential only in the multiplicity automata rank rather than the number of states of the POMDP. As a result, whenever the predictive state representation is logarithmic in the standard POMDP representation, our planning algorithm is efficient.

研究动机与目标

• 为解决POMDP中规划的计算不可行性，尤其是在大规模或复杂状态空间中的情况。
• 探索避免标准基于状态表示中指数级膨胀的POMDP高效表示方法。
• 建立POMDP、预测状态表示（PSRs）与多重性自动机之间的正式联系。
• 开发一种规划算法，其复杂度仅依赖于PSR的秩，而非POMDP状态的数量。
• 证明当PSR的大小相对于标准POMDP表示为对数规模时，规划效率显著提升。

提出的方法

• 使用预测状态表示（PSR）表示POMDP，通过可观测预测捕捉系统的动态行为。
• 证明任意POMDP均可等价地表示为多重性自动机，且不增加表示大小。
• 证明多重性自动机的大小等于PSR的秩，建立两者之间的直接对应关系。
• 设计一种在多重性自动机上运行的规划算法，其时间复杂度仅在自动机的秩上呈指数增长。
• 利用多重性自动机的代数结构，通过在自动机状态上进行动态规划，高效计算价值函数与最优策略。
• 利用多重性自动机支持高效线性代数运算的特性，即使在原始POMDP规模较大时，也能实现可 tractable 的计算。

实验结果

研究问题

• RQ1 是否可以不增加表示大小地使用多重性自动机高效表示POMDP？
• RQ2 预测状态表示的秩与对应多重性自动机的大小之间是否存在直接的结构对应关系？
• RQ3 当PSR秩较小时，通过多重性自动机表示的POMDP规划是否变得更高效？
• RQ4 规划复杂度是否可被降低为仅依赖于PSR秩，而非POMDP状态的数量？
• RQ5 在何种条件下，该基于自动机的方法在计算效率上优于标准POMDP规划算法？

主要发现

• 表示POMDP的多重性自动机的大小恰好等于其预测状态表示（PSR）的秩。
• 将POMDP表示为多重性自动机不会增加大小，保持了紧凑性。
• 规划复杂度被降低为仅在PSR秩上呈指数增长，而非POMDP状态数量，从而在低秩情况下实现显著的效率提升。
• 当PSR的大小相对于标准POMDP表示为对数规模时，所提出的规划算法变得高效，实现指数级加速。
• 该方法在PSR秩较小的结构化POMDP中实现了高效规划，即使状态数量庞大亦然。
• PSR与多重性自动机之间的联系为POMDP规划提供了新的理论与算法基础，将其与成熟的自动机理论紧密关联。