[论文解读] Open Problem: Approximate Planning of POMDPs in the class of Memoryless Policies

Kamyar Azizzadenesheli, Alessandro Lazaric+1 more|arXiv (Cornell University)|Aug 17, 2016

Optimization and Search Problems参考文献 12被引用 3

一句话总结

本文将部分可观察马尔可夫决策过程（POMDPs）在随机无记忆策略下的近似规划识别为一个开放问题，指出尽管无记忆策略简化了规划，但寻找最优或近似最优策略仍是NP难且非凸的。主要贡献在于将此类问题中可扩展的近似规划视为序贯决策问题中不确定性下的关键未解难题。

ABSTRACT

Planning plays an important role in the broad class of decision theory. Planning has drawn much attention in recent work in the robotics and sequential decision making areas. Recently, Reinforcement Learning (RL), as an agent-environment interaction problem, has brought further attention to planning methods. Generally in RL, one can assume a generative model, e.g. graphical models, for the environment, and then the task for the RL agent is to learn the model parameters and find the optimal strategy based on these learnt parameters. Based on environment behavior, the agent can assume various types of generative models, e.g. Multi Armed Bandit for a static environment, or Markov Decision Process (MDP) for a dynamic environment. The advantage of these popular models is their simplicity, which results in tractable methods of learning the parameters and finding the optimal policy. The drawback of these models is again their simplicity: these models usually underfit and underestimate the actual environment behavior. For example, in robotics, the agent usually has noisy observations of the environment inner state and MDP is not a suitable model. More complex models like Partially Observable Markov Decision Process (POMDP) can compensate for this drawback. Fitting this model to the environment, where the partial observation is given to the agent, generally gives dramatic performance improvement, sometimes unbounded improvement, compared to MDP. In general, finding the optimal policy for the POMDP model is computationally intractable and fully non convex, even for the class of memoryless policies. The open problem is to come up with a method to find an exact or an approximate optimal stochastic memoryless policy for POMDP models.

研究动机与目标

• 解决在随机无记忆策略下POMDPs中缺乏可扩展的近似规划方法的问题。
• 指出尽管相比基于信念的规划复杂度降低，但在POMDP中寻找最优无记忆策略仍是NP难且非凸的。
• 强调现有强化学习文献中虽已解决估计与探索问题，但针对无记忆策略的高效规划仍为未解难题。
• 呼吁开发新方法，在温和条件下实现无记忆策略类中接近最优（ε-接近最优）的性能。
• 通过聚焦POMDP中无记忆策略缺失的规划组件，弥合学习、规划与探索之间的闭环。

提出的方法

• 使用状态、动作、观测和奖励空间的元组形式化POMDP，包含相应的转移、奖励和观测密度。
• 将随机无记忆策略定义为从观测到动作的映射，由条件概率分布 $ f_{\pi}(a|\vec{y}) $ 参数化。
• 将策略的平均奖励表示为 $ \eta(\pi;M) = \sum_x \omega_\pi(x) \overline{r}_\pi(x) $，其中 $ \omega_\pi $ 为平稳状态分布。
• 使用转移密度 $ f_{T,\pi}(x'|x) = \sum_{a,\vec{y}} f_\pi(a|\vec{y}) f_O(\vec{y}|x) f_T(x'|x,a) $ 建模策略 $ \pi $ 下的诱导马尔可夫链。
• 将最优策略表述为 $ \pi^* = \arg\max_\pi \eta(\pi;M) $，强调该优化问题具有非凸性和PSPACE完全性。
• 使用几何表示和信念空间划分作为复杂性的上下文，但不作为解决方案方法。

实验结果

研究问题

• RQ1 在近似POMDPs中最优随机无记忆策略时，其基本的计算与结构挑战是什么？
• RQ2 为何在无记忆策略类中进行规划仍为NP难，尽管其相比完整信念空间规划更简单？
• RQ3 能否开发一种可扩展的近似方法，以在无记忆策略类中找到与最优性能相差ε以内的策略？
• RQ4 哪些条件或假设可使无记忆策略的近似在实践中变得可行且有效？
• RQ5 在现有学习与探索进展的基础上，如何补全规划组件以在模型基于强化学习中为POMDPs闭合该循环？

主要发现

• 在随机无记忆策略下，POMDP的最优策略计算是NP难的，尽管该类策略相比完整信念空间规划更简单。
• 无记忆策略类中的规划仍为非凸且PSPACE完全，表明其存在根本性的算法不可解性。
• 无记忆策略与完整信念基策略之间的性能差距可能无界，这为开发更好近似方法提供了正当性。
• 现有方法如基于点的值迭代或启发式搜索无法解决近似最优无记忆策略的核心挑战。
• 关于策略空间的几何与结构洞察（如Montufar等，2015）已存在，但尚无已知的可扩展近似算法。
• 该开放问题仍未解决：尚无方法可理论保证或实际可扩展地计算或近似最优无记忆策略。