[论文解读] Theory of Parallel Particle Filters for Hidden Markov Models

Hock Peng Chan, Chiang Wee Heng+1 more|arXiv (Cornell University)|Sep 15, 2014

Bayesian Methods and Mixture Models参考文献 9被引用 5

一句话总结

本文提出了一种用于隐马尔可夫模型（HMMs）的并行粒子滤波方法，该方法将潜在状态序列分割为较短的片段，每个片段由独立的粒子滤波器处理，以实现并行计算。该方法可产生无偏的似然估计器，实现中心极限定理收敛，并在更短的运行时间下降低平滑状态估计的方差，优于标准粒子滤波器。

ABSTRACT

The objective of this article is to study the asymptotic behavior of a new particle filtering approach in the context of hidden Markov models (HMMs). In particular, we develop an algorithm where the latent-state sequence is segmented into multiple shorter portions, with an estimation technique based upon a separate particle filter in each portion. The partitioning facilitates the use of parallel processing. Based upon this approach, we introduce new estimators of the latent states and likelihood which have similar or better variance properties compared to estimators derived from standard particle filters. Moreover due to parallelization there is less wall-clock computational time. We show that the likelihood function estimator is unbiased, prove central limit theorem convergences of estimators, and provide consistent in-sample estimation of the asymptotic variances. The theoretical analyses, supported by a numerical study, show that the segmentation reduces the variances in smoothed latent-state estimators, in addition to the savings in wall-clock time.

研究动机与目标

• 开发一种用于HMMs的并行粒子滤波框架，通过分割潜在状态序列来减少计算时间。
• 在实现并行处理的同时，保持或改善标准粒子滤波估计器的方差特性。
• 建立理论保证，包括似然估计器的无偏性以及中心极限定理收敛性。
• 提供渐近方差的一致样本内估计，以提高推断的可靠性。
• 支持集成到高级贝叶斯推断方法中，如粒子MCMC和SMC²。

提出的方法

• 将潜在状态序列划分为多个非重叠或重叠的片段，以允许对每个片段独立进行粒子滤波。
• 每个片段通过独立的粒子滤波器处理，使用顺序蒙特卡洛（SMC）方法，结合重要性采样和重采样以控制权重退化。
• 似然估计器构建为各片段似然的乘积，在所提框架下确保无偏性。
• 推导出似然和潜在状态估计器的中心极限定理（CLT）结果，表明随着粒子数增加，其渐近正态。
• 通过基于重采样的方差估计器，在样本内一致估计渐近方差，支持可靠推断。
• 通过包含边缘观测值实现重叠片段，以改善路径连续性并减少边界效应。

实验结果

研究问题

• RQ1 将潜在状态序列分段为较短片段，是否能在不牺牲估计器质量的前提下，实现HMMs中粒子滤波的高效并行化？
• RQ2 所提出的并行粒子滤波方法是否能产生似然函数的无偏估计器？
• RQ3 在所提框架下，潜在状态和似然的估计器是否满足中心极限定理收敛性？
• RQ4 估计器的渐近方差能否在样本内一致估计？
• RQ5 与标准粒子滤波器相比，该分段方法是否能降低平滑潜在状态估计器的方差？

主要发现

• 所提出的似然估计器在理论上无偏，这对可靠的模型比较和贝叶斯推断至关重要。
• 似然和潜在状态估计器满足中心极限定理收敛性，随着粒子数增加，其渐近正态。
• 估计器的渐近方差可在样本内一致估计，支持准确的不确定性量化。
• 数值研究证实，与标准粒子滤波器相比，分段方法显著降低了平滑潜在状态估计器的方差。
• 尽管每个片段使用独立的粒子滤波器，该方法在显著减少实际运行时间的同时，保持或改善了方差特性，得益于并行化。
• 该方法与高级推断框架（如粒子MCMC和SMC²）兼容，可无缝集成到更广泛的贝叶斯推断流程中。