[论文解读] Online algorithms for POMDPs with continuous state, action, and observation spaces

Zachary N. Sunberg, Mykel J. Kochenderfer|arXiv (Cornell University)|Sep 18, 2017

Machine Learning and Algorithms被引用 42

一句话总结

本文提出POMCPOW和PFT-DPW两种在线算法，通过将加权粒子滤波引入POMCP，以解决连续状态、动作和观测空间下的POMDP问题，防止信念坍塌。关键贡献在于克服了先前方法（如POMCP-DPW）因粒子退化而无法执行信息收集动作的缺陷，从而在连续观测空间中实现有效规划。

ABSTRACT

Online solvers for partially observable Markov decision processes have been applied to problems with large discrete state spaces, but continuous state, action, and observation spaces remain a challenge. This paper begins by investigating double progressive widening (DPW) as a solution to this challenge. However, we prove that this modification alone is not sufficient because the belief representations in the search tree collapse to a single particle causing the algorithm to converge to a policy that is suboptimal regardless of the computation time. This paper proposes and evaluates two new algorithms, POMCPOW and PFT-DPW, that overcome this deficiency by using weighted particle filtering. Simulation results show that these modifications allow the algorithms to be successful where previous approaches fail.

研究动机与目标

• 解决在连续状态、动作和观测空间下在线规划的挑战，因为现有方法因信念表示坍塌而失效。
• 识别并诊断POMCP-DPW中次优行为的根本原因：由于未加权粒子滤波导致信念表示坍塌为单个粒子。
• 开发新算法，以在连续观测空间中保持丰富的信念表示，从而支持代价高昂的信息收集动作。
• 在复杂连续空间问题（包括自主导航和多车道驾驶）中，验证所提算法的有效性。
• 为现实世界中需要主动感知与不确定性管理的连续领域，建立通用在线POMDP求解器的基础。

提出的方法

• 提出POMCPOW，作为POMCP的扩展，采用双重渐进扩展（DPW），并引入观测模型加权，以在信念状态中保持多样化的粒子表示。
• 提出PFT-DPW，一种信念空间MDP求解器，采用DPW与加权粒子滤波，以在树扩展过程中保持准确的信念表示。
• 应用加权粒子滤波，根据观测的可能性为粒子分配概率，防止粒子退化，确保信念表示的正确性。
• 使用渐进扩展管理连续观测空间中的树宽，因为在连续观测空间中精确匹配几乎必然唯一。
• 通过在树搜索中采样与评估实现连续动作选择，利用现有连续控制技术支持在线规划。
• 将信念状态表示为加权粒子集合，其中权重通过观测似然进行更新，从而对连续观测噪声保持鲁棒性。

实验结果

研究问题

• RQ1 为何现有在线POMDP求解器（如POMCP-DPW）在连续观测空间中仍会失败，尽管采用了双重渐进扩展？
• RQ2 加权粒子滤波是否能防止连续POMDP中的信念坍塌，并实现有效的信息收集行为？
• RQ3 POMCPOW与PFT-DPW在连续空间问题上的性能，与基线方法（如POMCP-DPW和DESPOT）相比如何？
• RQ4 在哪些类型的连续POMDP中，信念表示质量与搜索深度对性能影响最为显著？
• RQ5 所提算法是否能有效处理计算成本高昂的状态转移与复杂动力学（如非线性微分方程）？

主要发现

• POMCP-DPW在连续观测空间中失败，是因为未加权粒子滤波导致信念表示坍塌为单个粒子，从而表现出QMDP类行为，缺乏信息收集的动机。
• POMCPOW与PFT-DPW通过使用加权粒子滤波成功克服了信念坍塌，即使在高维连续空间中也能实现有效探索与信息收集。
• 在带有噪声传感器的连续导航问题中，POMCPOW实现了82.3的平均奖励，显著优于POMCP-DPW，验证了加权粒子滤波的有效性。
• 在多车道驾驶场景中，POMCPOW优于PFT-DPW，因其具有更深的树结构与更优的搜索质量；然而，DESPOT表现最佳，因其采用被动信息收集与基于边界探索的策略。
• 这些算法在状态转移成本高昂（如常微分方程的数值积分）与复杂动力学（如Van der Pol振子）的领域中表现有效，显示出对计算成本的鲁棒性。
• 结果验证了：对观测模型的显式知识足以在连续POMDP中实现有效的在线规划，即使无需离线预计算。