[论文解读] On Scalable Particle Markov Chain Monte Carlo

David Gunawan, Chris Carter+1 more|arXiv (Cornell University)|Apr 12, 2018

Financial Risk and Volatility Modeling参考文献 35被引用 5

一句话总结

本文提出了一种混合粒子马尔可夫链蒙特卡洛（PMCMC）方法，通过将目标密度重新参数化为基本的均匀分布或标准正态随机变量，而非粒子本身，从而在非线性、非高斯状态空间模型的贝叶斯推断中提升了可扩展性。通过条件化于这些基本变量，该方法能够高效地抽样高度相关或计算成本较高的参数，在具有大量参数和隐状态的模型中，显著提升了现有PMCMC方法的效率，同时保证了遍历性。

ABSTRACT

Particle Markov Chain Monte Carlo (PMCMC) is a general approach to carry out Bayesian inference in non-linear and non-Gaussian state space models. Our article shows how to scale up PMCMC in terms of the number of observations and parameters by expressing the target density of the PMCMC in terms of the basic uniform or standard normal random numbers, instead of the particles, used in the sequential Monte Carlo algorithm. Parameters that can be drawn efficiently conditional on the particles are generated by particle Gibbs. All the other parameters are drawn by conditioning on the basic uniform or standard normal random variables; e.g. parameters that are highly correlated with the states, or parameters whose generation is expensive when conditioning on the states. The performance of this hybrid sampler is investigated empirically by applying it to univariate and multivariate stochastic volatility models having both a large number of parameters and a large number of latent states and shows that it is much more efficient than competing PMCMC methods. We also show that the proposed hybrid sampler is ergodic.

研究动机与目标

• 解决标准PMCMC方法在扩展至具有大量观测值和参数的模型时计算效率低下的问题。
• 改善非线性、非高斯状态空间模型中高维隐状态的贝叶斯推断的混合与收敛性。
• 开发一种混合抽样策略，根据参数的依赖结构和计算成本对参数进行分离，以实现更高效的条件更新。
• 确保所提出的抽样器在显著提升大规模随机波动率模型性能的同时保持遍历性。

提出的方法

• 将PMCMC的目标密度重新参数化为顺序蒙特卡洛（SMC）算法中使用的底层基本均匀或标准正态随机变量，而非粒子本身。
• 使用粒子吉布斯抽样，高效地抽取与粒子条件相关的参数。
• 通过条件化于基本均匀或标准正态变量来抽取所有其他参数，特别是那些与状态高度相关或在条件化于粒子时计算成本较高的参数。
• 利用SMC重采样机制，确保在迭代过程中保持一致且高效的提议分布。
• 通过重新参数化确保联合后验分布的保持，从而维持MCMC链的有效性。
• 在较弱正则性条件下，证明所得到的混合抽样器的遍历性。

实验结果

研究问题

• RQ1 PMCMC能否高效地扩展到具有大量参数和隐状态的模型？
• RQ2 与基于粒子的条件化相比，通过基本随机变量重新参数化目标密度在多大程度上提升了抽样效率？
• RQ3 基于条件依赖性和计算成本分离参数更新策略，对MCMC收敛性和混合性有何影响？
• RQ4 所提出的混合抽样器是否具有遍历性，从而确保收敛到真实的后验分布？

主要发现

• 所提出的混合PMCMC抽样器在具有大参数和状态维度的单变量和多变量随机波动率模型中，显著优于现有PMCMC方法的效率。
• 使用基本均匀或标准正态变量重新参数化目标密度，能够更有效地抽样与隐状态高度相关的参数。
• 在条件化于粒子时计算成本较高的参数，通过条件化于基本随机变量实现高效更新，从而降低了整体计算负担。
• 该方法在高维设置下仍保持良好的混合与收敛性，在经验评估中优于标准PMCMC方法。
• 理论分析证实，该混合抽样器具有遍历性，确保几乎必然收敛到真实的后验分布。
• 实证结果表明，该方法在大规模模型中显著提升了有效样本量和计算效率。