[论文解读] Particle ancestor sampling for near-degenerate or intractable state transition models

Fredrik Lindsten, Pete Bunch+2 more|arXiv (Cornell University)|May 23, 2015

Statistical Methods and Bayesian Inference参考文献 39被引用 15

一句话总结

本文提出了一种带有再生的粒子祖先采样方法，以解决状态转移核近乎退化或不可计算的非线性状态空间模型中的贝叶斯推断问题。通过用对后续状态的联合抽样替代从有问题的后向核中直接模拟，该方法实现了有效的前后向平滑，并将适用范围扩展至跟踪、流行病学和计量经济学等复杂模型，在粒子MCMC和吉布斯采样框架中显著提升了性能。

ABSTRACT

We consider Bayesian inference in sequential latent variable models in general, and in nonlinear state space models in particular (i.e., state smoothing). We work with sequential Monte Carlo (SMC) algorithms, which provide a powerful inference framework for addressing this problem. However, for certain challenging and common model classes the state-of-the-art algorithms still struggle. The work is motivated in particular by two such model classes: (i) models where the state transition kernel is (nearly) degenerate, i.e. (nearly) concentrated on a low-dimensional manifold, and (ii) models where point-wise evaluation of the state transition density is intractable. Both types of models arise in many applications of interest, including tracking, epidemiology, and econometrics. The difficulties with these types of models is that they essentially rule out forward-backward-based methods, which are known to be of great practical importance, not least to construct computationally efficient particle Markov chain Monte Carlo (PMCMC) algorithms. To alleviate this, we propose a "particle rejuvenation" technique to enable the use of the forward-backward strategy for (nearly) degenerate models and, by extension, for intractable models. We derive the proposed method specifically within the context of PMCMC, but we emphasise that it is applicable to any forward-backward-based Monte Carlo method.

研究动机与目标

• 解决状态转移核近乎退化或不可计算的状态空间模型中的贝叶斯推断挑战。
• 克服当后向核退化或不可计算时，前向-后向平滑方法失效的局限性。
• 开发一种粒子再生技术，使在这些模型中能有效使用前向-后向策略。
• 将粒子马尔可夫链蒙特卡洛（PMCMC）和吉布斯采样方法的适用范围扩展至具有不可计算或退化转移的模型。
• 提供一种稳健且通用的方法，不仅适用于PMCMC，还可支持复杂动力系统中的推断。

提出的方法

• 提出一种粒子再生技术，用对后续状态变量的联合抽样替代从后向核中直接模拟，以提高混合效率与稳定性。
• 构建未来状态子集的联合密度，其退化程度低于后向核，从而实现更有效的重采样。
• 采用近似贝叶斯计算（ABC）方法处理不可计算的转移密度，通过使用近乎退化的代理核来近似转移核。
• 将再生步骤整合进带祖先重采样的粒子吉布斯采样（PGAS）算法中，以保持细致平衡和正确的极限分布。
• 利用联合状态分布的结构，实现高效祖先采样，同时保持目标平滑分布不变。
• 将该方法形式化为部分消去吉布斯采样器，确保在所提出的马尔可夫核下具有有效性与理论一致性。

实验结果

研究问题

• RQ1 带有再生的粒子祖先采样能否有效处理具有近乎退化状态转移核的状态空间模型？
• RQ2 所提出的方法能否将前向-后向平滑的适用范围扩展至具有不可计算转移密度的模型？
• RQ3 粒子再生技术如何改善粒子MCMC与吉布斯采样算法中的混合与收敛性能？
• RQ4 使用ABC近似处理不可计算转移对推断的准确性与稳定性有何影响？
• RQ5 再生策略能否在不损害极限分布正确性的前提下，无缝集成进现有的PMCMC与PGAS框架？

主要发现

• 所提出的粒子再生技术成功实现了在转移核近乎退化的模型中的前向-后向平滑，而标准方法在此类模型中会失效。
• 通过在联合状态变量上构建有效的马尔可夫核，该方法保持了细致平衡与正确的极限分布。
• 实验结果表明，该方法对祖先采样权重的近似误差具有鲁棒性，表明在模型不确定性下仍具备实际稳定性。
• 对不可计算转移的ABC近似使得在转移密度无法以闭式表达的模型中也能应用再生技术。
• 该方法通过缓解导致采样器“卡住”的似然估计过高问题，显著提升了粒子MCMC的性能。
• 该方法具有通用性，适用于任何基于前向-后向的蒙特卡洛方法，不限于PMCMC或吉布斯采样。