[论文解读] Semi-Separable Hamiltonian Monte Carlo for Inference in Bayesian Hierarchical Models

Yichuan Zhang, Charles Sutton|arXiv (Cornell University)|Jun 15, 2014

Markov Chains and Monte Carlo Methods参考文献 16被引用 10

一句话总结

本文提出半可分哈密顿蒙特卡洛（SSHMC），一种计算高效的黎曼流形HMC变体，通过利用参数与超参数联合哈密顿量中的半可分结构，实现更快的混合速度。相较于吉布斯采样，SSHMC在混合速度上表现更优；相较于吉布斯采样中的RMHMC，其每秒有效样本数（ESS/s）更高，尤其在参数-超参数强相关性的层次模型中表现显著。

ABSTRACT

Sampling from hierarchical Bayesian models is often difficult for MCMC methods, because of the strong correlations between the model parameters and the hyperparameters. Recent Riemannian manifold Hamiltonian Monte Carlo (RMHMC) methods have significant potential advantages in this setting, but are computationally expensive. We introduce a new RMHMC method, which we call semi-separable Hamiltonian Monte Carlo, which uses a specially designed mass matrix that allows the joint Hamiltonian over model parameters and hyperparameters to decompose into two simpler Hamiltonians. This structure is exploited by a new integrator which we call the alternating blockwise leapfrog algorithm. The resulting method can mix faster than simpler Gibbs sampling while being simpler and more efficient than previous instances of RMHMC.

研究动机与目标

• 解决由于模型参数与超参数之间强相关性，导致贝叶斯层次模型中MCMC采样混合速度缓慢的问题。
• 开发一种比黎曼流形HMC（RMHMC）更高效的替代方法，尽管RMHMC在效果上表现良好，但其在大规模问题中计算成本过高。
• 利用联合哈密顿量中特定的结构特性——半可分性，以实现更快、更简单的采样。
• 在有效样本数每秒（ESS/s）方面提升采样效率，尤其针对后验几何复杂的模型。

提出的方法

• 提出一种新型质量矩阵结构，使参数与超参数联合哈密顿量呈现半可分性。
• 引入交替分块蛙跳算法（ABLA），一种新型积分器，通过交替使用独立的蛙跳步长，分别更新参数与超参数块。
• 采用分块对角度量：参数部分使用似然函数的逆海森矩阵，超参数部分使用单位矩阵，以简化计算。
• 采用混合蛙跳方案，即每组块使用不同步数（例如，参数块使用5步，超参数块使用2步），以平衡精度与效率。
• 使用Metropolis-Hastings校正以确保细致平衡性，并保持正确的目标分布。
• 将联合哈密顿量分解为两个可分的组成部分：一个用于参数，一个用于超参数，从而实现分块积分。

实验结果

研究问题

• RQ1 是否一种简化的RMHMC方法能在层次贝叶斯模型中实现比标准HMC与吉布斯采样更优的混合性能？
• RQ2 在联合哈密顿量中利用半可分性，是否能带来比通用RMHMC更高效的积分器？
• RQ3 所提出的交替分块蛙跳算法是否能在保持精度的同时，相比完整RMHMC降低计算成本？
• RQ4 SSHMC在不同层次模型中，与吉布斯采样中的RMHMC相比，其每秒有效样本数（ESS/s）表现如何？

主要发现

• 在高斯漏斗模型中，SSHMC实现的每秒有效样本数（ESS/s）接近吉布斯采样中RMHMC的两倍。
• 在32×32网格的对数高斯随机场过程（LGCPP）模型中，SSHMC每小时产生的有效样本数约为吉布斯采样中RMHMC的六倍。
• SSHMC在所有基准测试中均生成了稳定的后验样本，证实其收敛至正确的目标分布。
• 即使每块的蛙跳步数减少，该方法仍保持高效率，展现出良好的鲁棒性与可扩展性。
• 由于两个哈密顿量之间共享项，交替分块蛙跳算法在超参数空间中的混合速度优于吉布斯采样。
• 在所有测试模型中，SSHMC在ESS/s方面均优于标准HMC与吉布斯采样中的RMHMC，证实其具有更高的计算效率。