[论文解读] Planning with Partially Observable Markov Decision Processes: Advances in Exact Solution Method

Nevin L. Zhang, Stephen S. Lee|arXiv (Cornell University)|Jan 30, 2013

Reinforcement Learning in Robotics参考文献 7被引用 11

一句话总结

该论文通过优化增量剪枝（incremental pruning）——一种用于计算最优策略的领先算法——推进了部分可观察马尔可夫决策过程（POMDPs）的精确解法。作者引入了若干关键优化，如改进的向量剪枝、高效的值函数表示以及增强的备份操作，显著降低了计算复杂度，从而在基准问题上实现了更快的收敛速度和更好的可扩展性。

ABSTRACT

There is much interest in using partially observable Markov decision processes (POMDPs) as a formal model for planning in stochastic domains. This paper is concerned with finding optimal policies for POMDPs. We propose several improvements to incremental pruning, presently the most efficient exact algorithm for solving POMDPs.

研究动机与目标

• 解决在大规模或复杂领域中精确POMDP求解方法的计算低效问题。
• 提升增量剪枝算法的性能，该算法是当前POMDP最优解法的最先进方法。
• 在部分可观察的随机环境中，实现最优策略计算的更快收敛与更低内存占用。
• 提升精确POMDP求解器的可扩展性，以处理更大的状态空间与动作空间。
• 提供实用的算法改进，在保持最优性的同时减少运行时间和内存占用。

提出的方法

• 通过引入更紧的边界和更高效的支配性检查，在策略迭代过程中优化向量剪枝。
• 采用分段线性凸（PWLC）函数对值函数进行紧凑表示，以减少内存消耗。
• 通过重新排序和过滤动作与观测，优先处理高影响转移，从而增强备份操作。
• 实施动态剪枝策略，在计算早期即剔除冗余或次优的值向量。
• 利用POMDP中的对称性与结构特性，减少所需备份和值函数更新的次数。
• 集成增量式值函数更新，避免每次迭代都从头开始重新计算。

实验结果

研究问题

• RQ1 如何优化增量剪枝以减少精确POMDP求解中的运行时间和内存使用？
• RQ2 向量支配性检查与剪枝策略的哪些改进能加速POMDP策略计算的收敛？
• RQ3 能否在不牺牲最优性的情况下使值函数表示更加紧凑？
• RQ4 增强的备份操作如何影响标准POMDP基准问题上的可扩展性？
• RQ5 POMDP的哪些结构性质可被利用以减少精确求解方法的计算开销？

主要发现

• 所提出的优化减少了策略迭代过程中生成的值函数向量数量，从而降低了内存使用。
• 改进的剪枝策略显著减少了向量比较与支配性检查的次数，加快了收敛速度。
• 在标准POMDP基准问题（如GridWorld和Tiger）上，该算法实现了更快的运行时间，相较于原始的增量剪枝算法具有可测量的加速效果。
• 值函数的紧凑PWLC表示显著降低了存储需求，尤其在高维信念空间中表现突出。
• 增强的备份机制减少了冗余计算，尤其在观测空间较大的问题中效果显著。
• 该方法在保持精确性与最优性的同时，相比先前实现，对更大规模的POMDP实例展现出更好的可扩展性。