[论文解读] Sparse Stochastic Finite-State Controllers for POMDPs

Eric A. Hansen|arXiv (Cornell University)|Jun 13, 2012

Optimization and Search Problems参考文献 13被引用 7

一句话总结

本文提出一种用于部分可观察马尔可夫决策过程（POMDPs）的稀疏随机有限状态控制器，通过利用控制器参数的稀疏性，提升了策略迭代的可扩展性。通过仅对每个节点的非零参数构建线性规划，该方法在计算复杂度显著降低的情况下，实现了与标准有界策略迭代相同的策略改进效果，从而能够高效求解更大规模的POMDPs。

ABSTRACT

Bounded policy iteration is an approach to solving infinite-horizon POMDPs that represents policies as stochastic finite-state controllers and iteratively improves a controller by adjusting the parameters of each node using linear programming. In the original algorithm, the size of the linear programs, and thus the complexity of policy improvement, depends on the number of parameters of each node, which grows with the size of the controller. But in practice, the number of parameters of a node with non-zero values is often very small, and does not grow with the size of the controller. Based on this observation, we develop a version of bounded policy iteration that leverages the sparse structure of a stochastic finite-state controller. In each iteration, it improves a policy by the same amount as the original algorithm, but with much better scalability.

研究动机与目标

• 解决有界策略迭代在POMDPs中因控制器规模增大而导致的可扩展性瓶颈问题，该问题使得策略改进的复杂度随控制器规模增长。
• 利用实际控制器中大多数节点仅具有少量非零参数的观察结果，即使控制器规模不断增长。
• 开发一种有界策略迭代的变体，通过利用这种稀疏性来减小每次迭代中线性规划的规模。
• 在将计算成本大幅降低的同时，保持与原始算法相同的策略改进质量。
• 通过仅关注非零控制器参数来集中计算资源，实现对更大、更复杂POMDPs的可扩展求解。

提出的方法

• 将策略表示为具有参数化动作概率的随机有限状态控制器，每个节点对应一组参数。
• 识别并隔离每个控制器节点中的非零参数，以利用其稀疏结构。
• 构建仅依赖于每个节点非零参数的线性规划，而非整个控制器的完整规模。
• 使用这些稀疏线性规划执行有界策略迭代，以迭代方式改进控制器。
• 确保每个策略改进步骤均能实现与原始方法相同的性能增益，从而保持收敛性保证。
• 使用针对稀疏约束集优化的高效线性规划求解器，以进一步提升运行时性能。

实验结果

研究问题

• RQ1 通过利用控制器参数中的稀疏性，能否显著降低POMDPs中传统有界策略迭代的计算复杂度？
• RQ2 在保持相同策略改进质量的同时，通过减少活跃参数数量，是否能带来显著的可扩展性提升？
• RQ3 在求解质量与运行时间方面，该稀疏方法与原始有界策略迭代相比表现如何？
• RQ4 控制器参数的稀疏性在不同POMDP问题中变化程度如何，这又如何影响算法效率？
• RQ5 能否有效构建并求解稀疏线性规划，以在策略迭代中保持收敛性与最优性？

主要发现

• 所提方法实现了与原始有界策略迭代相同的策略改进效果，确保求解质量无损失。
• 通过仅关注非零参数，线性规划的规模被大幅缩减，从而实现每次迭代的显著加速。
• 在原始方法因高维参数空间而变得不可行的大规模POMDPs上，该算法展现出卓越的可扩展性。
• 实证结果表明，即使控制器规模增大，每个节点的非零参数数量仍保持较小且稳定，验证了稀疏性假设的合理性。
• 该方法使原本无法用标准有界策略迭代求解的更大状态空间和动作空间的POMDPs成为可能。
• 由于线性规划复杂度的降低，运行时间性能提升显著，尤其在高维控制器问题中表现突出。