[论文解读] Particle filtering within adaptive Metropolis Hastings sampling

Ralph S. Silva, Paolo Giordani+2 more|ArXiv.org|Nov 2, 2009

Markov Chains and Monte Carlo Methods参考文献 25被引用 9

一句话总结

本文提出了一种自适应Metropolis-Hastings采样框架，结合粒子滤波，实现了在非高斯状态空间模型中的精确贝叶斯推断。结果表明，采用正态分布混合提议的自适应独立Metropolis-Hastings方法在提案适应性和并行化方面显著优于自适应随机游走方法，而粒子滤波则实现了无偏且高效的边际似然估计，有利于模型比较。

ABSTRACT

We show that it is feasible to carry out exact Bayesian inference for non-Gaussian state space models using an adaptive Metropolis Hastings sampling scheme with the likelihood approximated by the particle filter. Furthermore, an adapyive independent Metropolis Hastings sampler based on a mixture of normals proposal is computationally much more efficient than an adaptive random walk proposal because the cost of constructing a good adaptive proposal is negligible compared to the cost of approximating the likelihood. Independent Metropolis Hastings proposals are also attractive because they are easy to run in parallel on multiple processors. We also show that when the particle filter is used, the marginal likelihood of any model is obtained in an efficient and unbiased manner, making model comparison straightforward.

研究动机与目标

• 开发一种适用于一般非高斯状态空间模型的可行且高效的精确贝叶斯推断方法。
• 比较自适应独立Metropolis-Hastings与自适应随机游走Metropolis-Hastings在计算效率上的差异。
• 证明粒子滤波能够实现无偏且高效的边际似然估计，以支持模型比较。
• 在真实时间序列数据（包括哮喘数据和Linz数据）上评估所提方法的性能。
• 表明自适应独立Metropolis-Hastings方案具有高度可并行化特性，在八核处理器上可将计算时间减少5至30倍。

提出的方法

• 使用粒子滤波近似非高斯状态空间模型中难以计算的似然函数，其中观测密度和状态转移密度已知。
• 采用自适应独立Metropolis-Hastings采样器，使用正态分布混合提议分布，从先前样本中学习后验结构。
• 为对比，应用三重自适应的自适应随机游走Metropolis-Hastings方案（Roberts & Rosenthal, 2009）。
• 利用桥接抽样和重要性抽样计算无偏的边际似然估计，以支持模型比较。
• 通过将粒子滤波计算任务分配到多个处理器上实现并行计算，尤其有利于独立提议方案。
• 引入辅助变量，以证明在Metropolis-Hastings算法中使用粒子滤波作为似然近似的合理性（Andrieu et al., 2010）。

实验结果

研究问题

• RQ1 能否将粒子滤波与自适应Metropolis-Hastings有效结合，以实现在非高斯状态空间模型中的精确贝叶斯推断？
• RQ2 在该背景下，采用正态分布混合提议的自适应独立Metropolis-Hastings采样器是否比自适应随机游走Metropolis-Hastings具有更高的计算效率？
• RQ3 在使用粒子滤波与自适应MCMC结合时，并行化能在多大程度上提升计算效率？
• RQ4 能否在MCMC框架内利用粒子滤波高效且无偏地估计边际似然，以支持模型比较？
• RQ5 在真实时间序列数据中，两种采样方案的不效率和接受率表现如何比较？

主要发现

• 对于Linz数据，采用独立提议的自适应独立Metropolis-Hastings采样器的中位数不效率为6.86（四分位距：2.99），而自适应随机游走Metropolis的中位数不效率为56.41（四分位距：4.40），表明混合性能显著更优。
• 对于哮喘数据，独立提议的中位数不效率为8.51（四分位距：6.18），而随机游走的中位数不效率为68.46（四分位距：7.00），表明采样效率有显著提升。
• 在八核处理器上，独立提议的中位数有效计算时间（ECT）为1.90，而随机游走为107.70，计算时间减少了56倍。
• 自适应独立Metropolis-Hastings采样器在标准粒子滤波下实现了40.07%的中位数接受率，显著高于随机游走的26.37%，表明提议分布调优更优。
• 桥接抽样和重要性抽样提供了稳定且无偏的边际似然估计，水平模型和水平-趋势模型的对数边际似然分别为-2558.3和-2577.2，证实了模型比较的可行性。
• 基于粒子滤波的似然近似实现了边际似然的无偏估计，使模型比较变得直接且计算高效。