[论文解读] Optimal tuning of the Hybrid Monte-Carlo Algorithm

Alexandros Beskos, Natesh S. Pillai+3 more|arXiv (Cornell University)|Jan 25, 2010

Markov Chains and Monte Carlo Methods参考文献 22被引用 10

一句话总结

本文为高维目标分布中混合蒙特卡洛（HMC）算法的最优调参提供了理论框架。通过在乘积测度设定下分析蛙跳积分器，推导出步长应按 $ h = l \cdot d^{-1/4} $ 缩放，以维持 $ \mathcal{O}(1) $ 的接受概率，并确定渐近最优接受概率为 0.651，从而最小化每有效样本的计算成本。

ABSTRACT

We investigate the properties of the Hybrid Monte-Carlo algorithm (HMC) in high dimensions. HMC develops a Markov chain reversible w.r.t. a given target distribution $Π$ by using separable Hamiltonian dynamics with potential $-\logΠ$. The additional momentum variables are chosen at random from the Boltzmann distribution and the continuous-time Hamiltonian dynamics are then discretised using the leapfrog scheme. The induced bias is removed via a Metropolis-Hastings accept/reject rule. In the simplified scenario of independent, identically distributed components, we prove that, to obtain an $\mathcal{O}(1)$ acceptance probability as the dimension $d$ of the state space tends to $\infty$, the leapfrog step-size $h$ should be scaled as $h= l imes d^{-1/4}$. Therefore, in high dimensions, HMC requires $\mathcal{O}(d^{1/4})$ steps to traverse the state space. We also identify analytically the asymptotically optimal acceptance probability, which turns out to be 0.651 (to three decimal places). This is the choice which optimally balances the cost of generating a proposal, which {\em decreases} as $l$ increases, against the cost related to the average number of proposals required to obtain acceptance, which {\em increases} as $l$ increases.

研究动机与目标

• 为高维贝叶斯推断问题中HMC的调参提供理论指导，此类问题目前主要依赖启发式选择。
• 分析在高维极限 $ d \to \infty $ 下，HMC 在蛙跳积分器下的行为。
• 确定蛙跳步长 $ h $ 的缩放规律，以在 $ d \to \infty $ 时保持恒定接受概率。
• 确定能最小化每有效样本计算成本的渐近最优接受概率。
• 建立HMC效率的理论基础，与现有随机游走Metropolis（RWM）和MALA方法的结果相媲美。

提出的方法

• 分析假设目标分布 $ \Pi(Q) = \exp(-\sum_{i=1}^d V(q_i)) $ 具有独立同分布的分量，从而简化高维行为。
• HMC算法使用哈密顿动力学，其势能为 $ -\log \Pi $，并引入从玻尔兹曼分布中抽取的动量变量。
• 通过蛙跳（Störmer-Verlet）格式对连续时间动力学进行离散化，并使用Metropolis-Hastings校正以保持可逆性。
• 利用渐近分析方法推导理论极限，重点关注接受概率与积分自相关性。
• 通过扩散极限和矩估计分析关键量，如接受概率与积分自相关性。
• 通过最小化一个权衡提议生成成本与拒绝率的成本函数，推导出最优调参。

实验结果

研究问题

• RQ1 为在高维HMC中维持 $ \mathcal{O}(1) $ 的接受概率，蛙跳步长 $ h $ 应如何随维度 $ d $ 缩放？
• RQ2 在 $ d \to \infty $ 极限下，HMC 的渐近最优接受概率是多少？
• RQ3 为在状态空间中实现 $ \mathcal{O}(1) $ 的移动，所需蛙跳步数如何随 $ d $ 缩放？
• RQ4 最优接受概率是否依赖于势能 $ V $ 的具体形式，还是对独立同分布的乘积测度具有普适性？
• RQ5 能否通过在高维下平衡步长与接受率来最小化HMC的计算成本？

主要发现

• 最优蛙跳步长按 $ h = l \cdot d^{-1/4} $ 缩放，确保在 $ d \to \infty $ 时维持 $ \mathcal{O}(1) $ 的接受概率。
• 为实现状态空间中 $ \mathcal{O}(1) $ 的移动，所需蛙跳步数按 $ \mathcal{O}(d^{1/4}) $ 缩放。
• 渐近最优接受概率为 0.651（保留三位小数），与具体势能 $ V $ 无关。
• 该最优接受概率可最小化每有效样本的计算成本，实现提议成本与拒绝率之间的平衡。
• 该结果适用于所有独立同分布的乘积测度，为高维HMC提供了普适的调参规则。
• 分析证实，HMC由于基于梯度的动力学，避免了随机游走行为，能够实现全局移动，而RWM或MALA则不能。