[论文解读] Pseudo-Marginal Hamiltonian Monte Carlo

Johan Westerborn, Randal Douc+1 more|arXiv (Cornell University)|Jul 8, 2016

Markov Chains and Monte Carlo Methods参考文献 28被引用 18

一句话总结

本文提出伪边缘哈密顿蒙特卡洛（PM-HMC），一种新颖的MCMC算法，结合了哈密顿蒙特卡洛的高效性与伪边缘方法的无偏似然近似。该方法即使在似然函数不可计算时，也能实现对参数后验边际分布的精确抽样，且随着似然近似精度 $N$ 提高，样本轨迹和接受概率会收敛至理想HMC的水平。

ABSTRACT

Bayesian inference in the presence of an intractable likelihood function is computationally challenging. When following a Markov chain Monte Carlo (MCMC) approach to approximate the posterior distribution in this context, one typically either uses MCMC schemes which target the joint posterior of the parameters and some auxiliary latent variables, or pseudo-marginal Metropolis--Hastings (MH) schemes. The latter mimic a MH algorithm targeting the marginal posterior of the parameters by approximating unbiasedly the intractable likelihood. However, in scenarios where the parameters and auxiliary variables are strongly correlated under the posterior and/or this posterior is multimodal, Gibbs sampling or Hamiltonian Monte Carlo (HMC) will perform poorly and the pseudo-marginal MH algorithm, as any other MH scheme, will be inefficient for high dimensional parameters. We propose here an original MCMC algorithm, termed pseudo-marginal HMC, which combines the advantages of both HMC and pseudo-marginal schemes. Specifically, the pseudo-marginal HMC method is controlled by a precision parameter N, controlling the approximation of the likelihood and, for any N, it samples the marginal posterior of the parameters. Additionally, as N tends to infinity, its sample trajectories and acceptance probability converge to those of an ideal, but intractable, HMC algorithm which would have access to the marginal posterior of parameters and its gradient. We demonstrate through experiments that pseudo-marginal HMC can outperform significantly both standard HMC and pseudo-marginal MH schemes.

研究动机与目标

• 解决由于潜变量或ABC近似导致似然不可计算时，标准MCMC方法效率低下的问题。
• 克服在高维、强相关或多重模态后验分布下，吉布斯采样和标准HMC的局限性。
• 开发一种结合HMC（高效探索）与伪边缘MH（无偏似然近似）优势的方法，以处理不可计算似然。
• 确保即使在似然估计精度有限的情况下，算法仍能精确地针对真实参数边际后验分布。
• 随着似然近似趋于精确（$N \to \infty$），实现样本轨迹和接受概率向理想HMC算法的收敛。

提出的方法

• 提出一种伪边缘HMC算法，使用对不可计算似然的无偏估计，其精度由参数 $N$ 控制。
• 将似然估计整合进HMC的哈密顿动力学中，保持HMC的几何结构，同时确保对边际后验分布的精确目标。
• 在leapfrog积分器中使用对数似然的噪声梯度估计，确保在伪边缘框架下算法的有效性。
• 通过控制用于估计不可计算似然的独立同分布样本数 $N$，调节似然近似中的偏差。
• 确保当 $N \to \infty$ 时，接受概率收敛至理想HMC的水平，维持细致平衡与精确性。
• 将该方法应用于似然不可计算的模型，如潜变量模型和ABC模型，其中标准HMC与伪边缘MH因高维性或强相关性而失效。

实验结果

研究问题

• RQ1 能否设计一种哈密顿蒙特卡洛算法，在似然不可计算时仍能精确地针对边际后验分布？
• RQ2 在高维、强相关或多重模态后验分布下，PM-HMC与标准HMC及伪边缘MH相比性能如何？
• RQ3 随着似然近似精度 $N$ 提高，PM-HMC的样本轨迹和接受概率是否收敛至理想HMC的水平？
• RQ4 在具有不可计算似然的复杂贝叶斯模型中，PM-HMC能否实现比现有方法更优的混合性与更低的自相关性？
• RQ5 精度参数 $N$ 对采样器的效率与收敛性有何影响？

主要发现

• 在高维、强相关或多重模态后验分布中，PM-HMC的混合性显著优于标准HMC与伪边缘MH，且自相关性更低。
• 当 $N \to \infty$ 时，PM-HMC的样本轨迹与接受概率收敛至理想HMC的水平，确保渐近效率。
• 对于有限 $N$，PM-HMC精确地针对真实边际后验分布，保持贝叶斯一致性。
• 在含13个参数的潜变量模型实验中，PM-HMC在有效样本量与轨迹质量方面优于伪边缘切片采样与使用条件重要性采样的吉布斯采样器。
• 即使使用噪声梯度估计，该方法在伪边缘框架下仍保持细致平衡与精确性。
• 理论分析支持收敛结果，包括依赖序列的中心极限定理与大数定律，为方法的渐近有效性提供了理论基础。