[论文解读] On the convergence of Hamiltonian Monte Carlo

Alain Durmus, Éric Moulines+1 more|arXiv (Cornell University)|Apr 29, 2017

Markov Chains and Monte Carlo Methods参考文献 23被引用 42

一句话总结

该论文在势函数 $U$ 的温和条件下建立了哈密顿蒙特 Carlo (HMC) 算法的几何遍历性，证明了不可约性、常返性以及哈里斯常返性。它提供了可验证的条件以确保几何收敛，扩展了先前的结果，并与该领域近期的工作相比具有优势。

ABSTRACT

This paper discusses the irreducibility and geometric ergodicity of the Hamiltonian Monte Carlo (HMC) algorithm. We consider cases where the number of steps of the symplectic integrator is either fixed or random. Under mild conditions on the potential $\F$ associated with target distribution $π$, we first show that the Markov kernel associated to the HMC algorithm is irreducible and recurrent. Under more stringent conditions, we then establish that the Markov kernel is Harris recurrent. Finally, we provide verifiable conditions on $\F$ under which the HMC sampler is geometrically ergodic.

研究动机与目标

• 在势函数 $U$ 的温和条件下，建立 HMC 马尔可夫核的不可约性与常返性。
• 在对 $U$ 的更严格条件下，证明 HMC 核的哈里斯常返性。
• 推导出确保 HMC 采样器几何遍历性的 $U$ 的可验证条件。
• 将本文的假设与近期文献 [15] 和 [5] 中的假设进行比较。

提出的方法

• 将 HMC 算法视为在扩展相空间 $\mathbb{R}^{2d}$ 上使用哈密顿动力学的梅特罗波利斯-黑斯廷斯采样器。
• 使用辛积分器模拟哈密顿流 $\varphi_t$，以保持体积和能量。
• 应用 $S$-可逆性（动量翻转对称性）以确保细致平衡并正确处理梅特罗波利斯接受率。
• 通过利用哈密顿流的性质，证明从任意初始状态到任意目标集合存在路径，从而建立不可约性。
• 应用马尔可夫链理论的结果，包括不可约性与调和函数分析，以证明哈里斯常返性。
• 推导出漂移条件与极小化条件，以验证几何遍历性，使用李雅普诺夫函数及 $U$ 的尾部行为。

实验结果

研究问题

• RQ1 在何种 $U$ 的条件下，HMC 马尔可夫核是不可约的？
• RQ2 HMC 核在何时是常返或哈里斯常返的？
• RQ3 哪些可验证的 $U$ 的条件能确保 HMC 采样器的几何遍历性？
• RQ4 本文的假设与 [15] 和 [5] 中的假设相比如何？

主要发现

• 在 $U$ 的温和条件下（包括 $C^1$-光滑性与增长条件），HMC 核是不可约且常返的。
• 当 $U$ 满足更强的正则性与增长条件，特别是 $\|\nabla U(q)\|$ 的行为满足特定要求时，可建立哈里斯常返性。
• 在控制 $U$ 尾部行为的条件下，可证明几何遍历性，例如当 $\|\nabla U(q)\| \geq c\|q\|^{\gamma}$ 对于 $\gamma > 1$ 且 $\|q\|$ 较大时。
• 本文提供了明确的、可验证的 $U$ 的条件，以保证几何遍历性，包括对 Hessian 矩阵的有界性与梯度增长的限制。
• 结果表明，本文的假设比 [15] 和 [5] 中的假设更弱或更具普遍性，特别是在所需光滑性与尾部行为方面。
• 分析确认，在所推导的条件下，HMC 采样器能几何收敛到目标分布 $\pi$，从而确保快速混合与可靠的推断。