[论文解读] POMCPOW: An online algorithm for POMDPs with continuous state, action, and observation spaces.

Zachary N. Sunberg, Mykel J. Kochenderfer|arXiv (Cornell University)|Sep 18, 2017

Reinforcement Learning in Robotics参考文献 26被引用 13

一句话总结

本文提出POMCPOW，一种针对连续状态、动作和观测空间的POMDP在线算法，结合双重渐进扩展（DPW）与加权粒子滤波，以防止信念坍塌并实现有效的策略学习。该方法在先前方法因粒子退化而失效的连续问题上表现出优越性能。

ABSTRACT

Online solvers for partially observable Markov decision processes have been applied to problems with large discrete state spaces, but continuous state, action, and observation spaces remain a challenge. This paper begins by investigating double progressive widening (DPW) as a solution to this challenge. However, we prove that this modification alone is not sufficient because the belief representations in the search tree collapse to a single particle causing the algorithm to converge to a policy that is suboptimal regardless of the computation time. The main contribution of the paper is to propose a new algorithm, POMCPOW, that incorporates DPW and weighted particle filtering to overcome this deficiency and attack continuous problems. Simulation results show that these modifications allow the algorithm to be successful where previous approaches fail.

研究动机与目标

• 为解决现有在线求解器在连续状态、动作和观测空间的POMDP问题上仍具挑战性的问题。
• 探究双重渐进扩展（DPW）是否足以应对连续POMDP问题，识别其在信念表示方面的局限性。
• 开发一种新算法，通过将加权粒子滤波与DPW结合，克服基于粒子的信念表示中的信念坍塌问题。
• 通过稳健且可扩展的信念表示与动作选择，实现连续POMDP中的有效在线规划。

提出的方法

• 通过在搜索树中动态扩展动作空间和观测空间，将在线规划扩展至连续POMDP，应用双重渐进扩展（DPW）。
• 引入加权粒子滤波以维持多样且具代表性的信念粒子，防止标准粒子滤波中常见的单一粒子坍塌现象。
• 信念状态通过一组加权粒子表示，权重根据观测似然性更新，以反映后验概率。
• 使用基于UCB1的选择策略扩展搜索树，以在连续动作和观测空间中平衡探索与利用。
• 通过从当前信念状态模拟轨迹进行在线规划，利用粒子滤波在动作和观测之间传播信念。
• DPW与加权粒子滤波的创新结合确保了信念多样性的持续维持，从而实现接近最优策略的收敛。

实验结果

研究问题

• RQ1 双重渐进扩展（DPW）是否足以在无信念坍塌的情况下求解连续POMDP？
• RQ2 当与DPW结合时，加权粒子滤波是否能有效维持连续POMDP中的信念多样性？
• RQ3 所提出的POMCPOW算法在连续问题上的策略质量与收敛性方面，相较于现有方法表现如何？
• RQ4 信念表示质量对连续领域中在线POMDP求解器性能有何影响？

主要发现

• 仅使用双重渐进扩展（DPW）会导致信念坍塌，致使算法无论计算时间多长均收敛至次优策略。
• 将加权粒子滤波与DPW结合，成功防止了信念坍塌，实现了稳定且多样的信念表示。
• POMCPOW在先前方法因粒子退化而失效的连续POMDP中实现了成功的策略学习。
• 仿真结果表明，POMCPOW在基准连续POMDP问题上优于现有方法，实现了更高的期望回报与更优的收敛性能。