[论文解读] Solving POMDPs by Searching the Space of Finite Policies

Nicolas Meuleau, Kee-Eung Kim+2 more|arXiv (Cornell University)|Jan 23, 2013

Reinforcement Learning in Robotics参考文献 26被引用 147

一句话总结

该论文提出了一种新颖的方法，通过在固定大小的有限状态策略空间内进行搜索，来求解部分可观察马尔可夫决策过程（POMDPs）。它引入了一种分支定界法以寻找全局最优的确定性策略，以及一种梯度上升法以寻找局部最优的随机策略，显著降低了计算复杂度，并在基准问题上表现出强劲的实验性能。

ABSTRACT

Solving partially observable Markov decision processes (POMDPs) is highly intractable in general, at least in part because the optimal policy may be infinitely large. In this paper, we explore the problem of finding the optimal policy from a restricted set of policies, represented as finite state automata of a given size. This problem is also intractable, but we show that the complexity can be greatly reduced when the POMDP and/or policy are further constrained. We demonstrate good empirical results with a branch-and-bound method for finding globally optimal deterministic policies, and a gradient-ascent method for finding locally optimal stochastic policies.

研究动机与目标

• 通过将搜索限制在给定大小的有限状态策略范围内，解决POMDPs的不可解性问题。
• 通过同时对POMDP和策略表示施加结构约束，降低在POMDP中寻找最优策略的计算复杂度。
• 开发高效算法，以在受限策略空间内找到全局最优的确定性策略和局部最优的随机策略。
• 在标准POMDP基准问题上，实证评估所提出方法的有效性。

提出的方法

• 将策略表示为具有固定状态数的有限状态自动机，以限制策略复杂度。
• 应用分支定界算法，在有限策略空间内系统性地搜索全局最优确定性策略。
• 使用梯度上升法，通过基于性能梯度的迭代优化策略参数，以优化随机策略。
• 利用对POMDP和策略的结构约束，减少搜索空间并提高计算效率。
• 集成值函数估计与策略评估，以指导确定性与随机策略优化过程中的搜索。
• 在分支定界中使用剪枝技术，提前剔除次优策略分支，提升可扩展性。

实验结果

研究问题

• RQ1 将策略搜索限制在固定大小的有限状态自动机范围内，是否能产生可处理且有效的POMDP求解方案？
• RQ2 当POMDP和策略均受约束时，策略搜索的复杂度如何变化？
• RQ3 分支定界法是否能在有限策略空间内找到全局最优的确定性策略？
• RQ4 梯度上升法是否能在该受限设置中识别出高性能的局部最优随机策略？
• RQ5 与现有POMDP求解器相比，所提出方法在解的质量和计算效率方面表现如何？

主要发现

• 分支定界法成功在有限策略空间内找到全局最优的确定性策略，证明了其正确性与完备性。
• 梯度上升法收敛至局部最优的随机策略，其在基准问题上的表现显著优于基线方法。
• 对POMDP和策略表示施加的结构约束，显著减少了搜索空间，提升了计算可处理性。
• 实证结果表明，所提方法在标准POMDP问题上实现了高质量解，包括具有复杂观测结构的问题。
• 该方法实现了可扩展的策略搜索，而传统POMDP求解器因指数级复杂度而失效。
• 有限策略表示使得策略在现实部分可观察环境中的实际部署成为可能。