[论文解读] Planning in Observable POMDPs in Quasipolynomial Time

Noah Golowich, Ankur Moitra+1 more|arXiv (Cornell University)|Jan 12, 2022

Reinforcement Learning in Robotics被引用 4

一句话总结

本文提出了首个针对一步可观测POMDP的准多项式时间规划算法，该算法基于一种新颖的滤波稳定性分析，在弱可观测性假设下，即状态分离良好则观测也分离良好。关键贡献在于提出了一种可证明高效的算法，其策略表示接近最优，并辅以在指数时间假设下的匹配下界结果。

ABSTRACT

Partially Observable Markov Decision Processes (POMDPs) are a natural and general model in reinforcement learning that take into account the agent's uncertainty about its current state. In the literature on POMDPs, it is customary to assume access to a planning oracle that computes an optimal policy when the parameters are known, even though the problem is known to be computationally hard. Almost all existing planning algorithms either run in exponential time, lack provable performance guarantees, or require placing strong assumptions on the transition dynamics under every possible policy. In this work, we revisit the planning problem and ask: are there natural and well-motivated assumptions that make planning easy? Our main result is a quasipolynomial-time algorithm for planning in (one-step) observable POMDPs. Specifically, we assume that well-separated distributions on states lead to well-separated distributions on observations, and thus the observations are at least somewhat informative in each step. Crucially, this assumption places no restrictions on the transition dynamics of the POMDP; nevertheless, it implies that near-optimal policies admit quasi-succinct descriptions, which is not true in general (under standard hardness assumptions). Our analysis is based on new quantitative bounds for filter stability -- i.e. the rate at which an optimal filter for the latent state forgets its initialization. Furthermore, we prove matching hardness for planning in observable POMDPs under the Exponential Time Hypothesis.

研究动机与目标

• 识别在POMDP规划中实现计算可 tractable 的自然假设，尽管该问题已知是难解的。
• 通过证明在弱可观测性下近似最优策略可被准简洁地描述，从而克服历史诅咒。
• 为一步可观测POMDP的规划建立一个可证明高效的算法，其时间复杂度在状态数和观测数上为多项式。
• 在指数时间假设下提供匹配的下界结果，表明该算法的时间复杂度几乎是最优的。

提出的方法

• 引入一步可观测性的概念，即状态分布分离良好则其对应的观测分布也分离良好。
• 建立滤波稳定性的新定量界，衡量关于隐藏状态的信念遗忘初始值的速度。
• 通过信念收缩分析表明，在可观测性假设下，真实信念与近似信念之间的总变差距离随时间呈指数衰减。
• 应用信念更新过程的递归分解，以界定需要考虑的不同信念状态的数量。
• 在精心构建的信念空间离散化上采用动态规划方法，利用近似最优策略的准简洁性。
• 通过从3-SAT问题归约，证明匹配的下界结果，表明若任何算法能在亚指数时间内求解该问题，将违反指数时间假设。

实验结果

研究问题

• RQ1 在关于观测信息量的自然且有动机的假设下，能否使POMDP的规划变得高效？
• RQ2 若状态分离良好则观测也分离良好的假设，是否意味着近似最优策略可被简洁地描述？
• RQ3 能否在不对转移动态施加强限制的条件下，为可观测POMDP设计一个准多项式时间算法？
• RQ4 可观测POMDP的规划计算复杂性边界是什么？其与指数时间假设等基本复杂性假设有何关联？
• RQ5 信念收敛速率（滤波稳定性）能否被定量界定，以支持高效规划？

主要发现

• 本文提出一个针对一步可观测POMDP的准多项式时间规划算法，其运行时间被限制在 $\exp(\tilde{O}(\log^2(SAH)))$ 内，其中 $S$、$A$ 和 $H$ 分别为状态数、动作数和时域长度。
• 在一步可观测性假设下，近似最优策略可被准简洁地描述，即其可用准多项式数量的参数表示。
• 本文建立了滤波稳定性的新定量界：真实信念与近似信念之间的总变差距离衰减为 $\exp(-\Omega(\gamma^2 t))$，其中 $\gamma$ 为可观测性参数，$t$ 为时间。
• 信念收缩速率被证明在常数意义下是紧的，即衰减率中 $\gamma$ 的平方依赖关系无法进一步改进。
• 证明了匹配的下界结果：在指数时间假设下，任何算法都无法在时间 $\exp(O((SAH/\epsilon)^c))$ 内求解该问题，其中 $c>0$ 且 $\epsilon<1/m$，$m$ 为3-SAT实例中的子句数。
• 该结果表明，所提出的准多项式时间算法在运行时间复杂度上几乎是最优的。