[论文解读] The MCMC split sampler: A block Gibbs sampling scheme for latent Gaussian models

Óli Páll Geirsson, Birgir Hrafnkelsson+2 more|arXiv (Cornell University)|Jun 20, 2015

Statistical Methods and Bayesian Inference参考文献 7被引用 4

一句话总结

该论文提出了MCMC分裂采样器，一种用于潜变量高斯模型（LGMs）的两区块吉布斯采样方案，通过将潜变量参数划分为数据丰富和数据稀疏区块，提升了计算效率。通过利用数据稀疏区块的高斯结构，该方法可实现与似然函数无关的高效采样，适用于高维潜变量场，并支持任意参数化数据密度。

ABSTRACT

A novel computationally efficient Markov chain Monte Carlo (MCMC) scheme for latent Gaussian models (LGMs) is proposed in this paper. The sampling scheme is a two block Gibbs sampling scheme designed to exploit the model structure of LGMs. We refer to the proposed sampling scheme as the MCMC split sampler. The principle idea behind the MCMC split sampler is to split the latent Gaussian parameters into two vectors. The former vector consists of latent parameters which appear in the data density function, while the latter vector consists of latent parameters which do not appear in it. The former vector is placed in the first block of the proposed sampling scheme and the latter vector is placed in the second block along with any potential hyperparameters. The resulting conditional posterior density functions within the blocks allow the MCMC split sampler to handle, by design, LGMs with latent models imposed on more than just the mean structure of the data density function. The MCMC split sampler is also designed to be applicable for any choice of a parametric data density function. Moreover, it scales well in terms of computational efficiency when the dimension of the latent model increase.

研究动机与目标

• 解决具有复杂似然结构的潜变量高斯模型（LGMs）后验推断中的计算挑战。
• 在潜变量影响数据密度的均值以外的多个参数时，改进MCMC采样的混合与收敛性。
• 为具有非高斯似然和高维潜变量结构的LGMs开发一种可扩展、高效的MCMC方案。
• 通过将高斯条件后验分离至一个区块，实现采样方案的模块化设计。

提出的方法

• 该方法将潜变量参数划分为两个区块：一个包含出现在数据密度中的参数（数据丰富区块），另一个包含未出现的参数（数据稀疏区块）。
• 数据稀疏区块的条件后验为已知的高斯分布，其形式不依赖于数据密度函数的选择。
• 利用Knorr-Held与Rue（2002）提出的一区块采样器等高效算法对数据稀疏区块进行采样，借助稀疏高斯马尔可夫随机场（GMRF）精度结构实现可扩展性。
• 数据丰富区块采用灵活的采样方案（如MALA或HMC），以适配似然结构。
• 整体方案通过交替更新两个区块实现吉布斯采样，其中数据稀疏区块的后验为解析可处理且计算高效。
• 该方法具有模块化特性：每个区块的采样策略可独立开发与优化。

实验结果

研究问题

• RQ1 当潜变量影响似然函数中除均值外的多个参数时，如何提升潜变量高斯模型中MCMC采样的效率？
• RQ2 能否设计一种区块吉布斯采样器，使得一个区块的后验分布对数据密度函数的选择保持不变，从而实现更快更稳定的采样？
• RQ3 所提出的分裂采样器在潜变量场维度增加时的可扩展性如何？
• RQ4 如何在不将似然函数限制为指数族形式的前提下，提升LGMs中MCMC的计算效率？

主要发现

• 数据稀疏区块的条件后验为已知的高斯分布，其形式与数据密度函数无关，从而实现高度高效的采样。
• 由于数据稀疏区块中保持了稀疏GMRF精度结构，该方法在潜变量场维度增加时仍具有良好的可扩展性。
• 数据稀疏区块的计算效率仅取决于超参数采样方案，使得整体方法具有模块化和可扩展性。
• 数据稀疏区块的高斯结构使得无论似然类型如何，均可使用Knorr-Held与Rue（2002）提出的高效一区块采样器。
• 该方法支持任意参数化数据密度函数，包括非高斯类型，显著扩展了其在标准模型之外的适用范围。
• 该方法允许对每个区块的采样方案独立优化，从而提升灵活性与性能。