[论文解读] On general sampling schemes for Particle Markov chain Monte Carlo methods

Eduardo Mendes, Chris Carter+1 more|arXiv (Cornell University)|Jan 8, 2014

Statistical Methods and Bayesian Inference参考文献 35被引用 4

一句话总结

本文提出了一种通用的粒子Metropolis within Gibbs（PMwG）采样框架，用于在非线性和非高斯状态空间模型中进行贝叶斯推断，通过结合粒子MCMC与Gibbs采样，实现灵活且高效的后验抽样。该方法确保对目标后验分布的统一收敛，并针对复杂依赖关系（尤其是具有扩散初始条件的模型）进行了优化。

ABSTRACT

Particle Markov Chain Monte Carlo methods [Andrieu et al., 2010] are used to carry out inference in non-linear and non-Gaussian state space models, where the posterior density of the states is approximated using particles. Current approaches have usually carried out Bayesian inference using a particle Metropolis-Hastings algorithm or a particle Gibbs sampler. In this paper, we give a general approach to constructing sampling schemes that converge to the target distributions given in Andrieu et al. [2010] and Olsson and Ryden [2011]. We describe our methods as a particle Metropolis within Gibbs sampler (PMwG). The advantage of our general approach is that the sampling scheme can be tailored to obtain good results for different applications. We investigate the properties of the general sampling scheme, including conditions for uniform convergence to the posterior. We illustrate our methods with examples of state space models where one group of parameters can be generated in a straightforward manner in a particle Gibbs step by conditioning on the states, but where it is cumbersome and inefficient to generate such parameters when the states are integrated out. Conversely, it may be necessary to generate a second group of parameters without conditioning on the states because of the high dependence between such parameters and the states. Our examples include state space models with diffuse initial conditions, where we introduce two methods to deal with the initial conditions.

研究动机与目标

• 开发一种灵活、通用的粒子马尔可夫链蒙特卡洛（PMCMC）方法采样方案，扩展至标准粒子Metropolis-Hastings和粒子Gibbs方法之外。
• 解决在参数对潜变量高度依赖或需基于状态进行条件更新以实现高效更新的状态空间模型中，实现高效抽样的挑战。
• 提供理论条件，确保所提出的PMwG方案对目标后验分布具有统一遍历性与收敛性。
• 通过引入两种新颖方法，处理状态空间模型中的扩散初始条件问题，改进采样效率。

提出的方法

• 提出一种粒子Metropolis within Gibbs（PMwG）框架，结合粒子MCMC与Gibbs采样，以目标状态与参数的联合后验分布。
• 使用粒子滤波近似状态空间模型中不可计算的似然函数，实现对潜变量的边际化。
• 设计不同参数块的条件更新策略：一组通过基于状态的粒子Gibbs进行更新，另一组则因与状态强依赖而无需条件化更新。
• 引入两种专门方法，以处理状态空间模型中的扩散初始条件，提升采样效率与混合性能。
• 建立PMwG采样器统一遍历性的理论条件，确保收敛至目标后验分布。
• 采用通用方案，允许根据模型结构与参数依赖关系，模块化设计提议分布。

实验结果

研究问题

• RQ1 如何设计一种通用采样框架，将PMCMC方法扩展至标准粒子Metropolis-Hastings与粒子Gibbs方法之外？
• RQ2 在状态空间模型中，何种条件可确保所提出的PMwG方案对目标后验分布实现统一收敛？
• RQ3 如何高效更新对潜变量高度依赖的参数块，且无需基于状态进行条件化？
• RQ4 在PMCMC框架下，处理状态空间模型中扩散初始条件的有效策略有哪些？
• RQ5 如何针对复杂、高维模型，定制PMwG框架以提升混合性能与效率？

主要发现

• 在较弱正则性条件下，所提出的PMwG框架可确保统一遍历性，保证对目标后验分布的几乎必然收敛。
• 该方法通过允许不同参数块根据其依赖结构选择是否基于潜变量进行条件更新，实现高效抽样。
• 对于具有扩散初始条件的模型，所提出的两种方法显著改善了混合性能并降低了计算成本，优于标准方法。
• 该框架具有模块化与可扩展性，使实践者可根据特定模型结构与依赖关系定制采样方案。
• 实证结果表明，该方法在状态空间模型中显著提升了收敛速度与混合性能，尤其在参数对潜变量高度依赖时表现更优。
• 该通用方法在保持理论有效性的同时，为复杂、非线性与非高斯模型提供了实际优势。