[论文解读] Rapid Mixing of Hamiltonian Monte Carlo on Strongly Log-Concave Distributions

Oren Mangoubi, Aaron Smith|arXiv (Cornell University)|Aug 23, 2017

Markov Chains and Monte Carlo Methods参考文献 21被引用 71

一句话总结

该论文证明了在强对数凹目标上的哈密顿蒙特卡洛（HMC）非渐近混合界，显示理想 HMC 的维度无关混合速率，以及在实际 leapfrog 实现中的梯度成本接近最优的 O(d^{1/4}) 量级。

ABSTRACT

We obtain several quantitative bounds on the mixing properties of the Hamiltonian Monte Carlo (HMC) algorithm for a strongly log-concave target distribution $π$ on $\mathbb{R}^{d}$, showing that HMC mixes quickly in this setting. One of our main results is a dimension-free bound on the mixing of an "ideal" HMC chain, which is used to show that the usual leapfrog implementation of HMC can sample from $π$ using only $\mathcal{O}(d^{\frac{1}{4}})$ gradient evaluations. This dependence on dimension is sharp, and our results significantly extend and improve previous quantitative bounds on the mixing of HMC.

研究动机与目标

• 在 Rd 中动机与量化 HMC 对强对数凹分布的混合性质。
• 推导理想 HMC 动力学的维度无关混合界并将其转化为实际数值实现。
• 将 HMC 的性能与 Langevin 动力学及在强凸性假设下的球步走比较。
• 为未调整和 Metropolis 调整的 HMC 在各自积分器阶数下提供梯度/评估成本界。

提出的方法

• 将 HMC 模型化为具有动量重新采样和哈密顿流的随机映射。
• 在势能 U 上建立强凸性假设并引入漂移条件以获得混合界。
• 对理想 HMC 内核，积分时间 T 与 (m2/M2)^{-1/2} 成正比，证明在 Wasserstein 距离上的收缩及谱隙界。
• 使用常微分方程比较和耦合论证来分析动量对步长和探索的影响。
• 在可分离性和规则性假设下，将其扩展至近似 HMC 动力学，使用一阶及高阶积分器。
• 在未调整与 Metropolis 调整方案中，用梯度评估次数量化计算成本。

实验结果

研究问题

• RQ1 在高维下，HMC 对强对数凹目标分布的混合有多快？
• RQ2 理想 HMC 及其数值实现的维度依赖性及常数的非渐近混合界是怎样的？
• RQ3 数值积分器（阶数 k 与可分离性）如何影响 HMC 的混合与计算成本？
• RQ4 在类似强凸性假设下，HMC 的界限与 Langevin 动力学及球步走相比如何？

主要发现

• 对于积分时间 T = (1/2) sqrt(2) sqrt(m2/M2) 的理想 HMC， Wasserstein 距离的收缩满足 Wk(K(x, ·), K(y, ·)) / ||x−y|| ≤ 1 − (m2/M2)^2 / 64。
• 谱松弛时间 τrel(K) 被有界为 (M2/m2)^2 / 64，针对理想动力学。
• 在适当的 θ 下，使用一阶 Euler 积分器的未调整 HMC 达到从 π 抽样所需的梯度成本为 Od(d^{1/2})；对于更高阶的积分器，在可分离性的前提下，成本可改进为 Od(d^{1/(2k)})。
• 在对高阶 HMC（k ≥ 2）且假设温和的条件下，到 π 的 Prokhorov 距离可被控制在 ≤ ε，成本为 N(Qθ, I) = O∗(d^{1/(2k)} ε^{−2/k})；Metropolis 调整的 HMC 取得类似的保证，成本界相当。
• 在强凸性条件下，预条件化可以降低 m2/M2 比值并改善实际性能（关于预条件化的备注）。
• 结果表明，在类似强对数凹设置下，HMC 的性能可优于 Langevin（d^{1/2} 或 d^{1/3}–类型成本）和球步走的界。