[论文解读] Optimal Convergence Rate of Hamiltonian Monte Carlo for Strongly Logconcave Distributions

Zongchen Chen, Santosh Vempala|arXiv (Cornell University)|May 7, 2019

Markov Chains and Monte Carlo Methods参考文献 19被引用 17

一句话总结

本文建立了强对数凹分布下哈密顿蒙特卡洛（HMC）的最优收敛速率，证明理想HMC的松弛时间为$O(\kappa)$，与下界$\Omega(\kappa)$相匹配，并表明当使用近乎最优的ODE求解器时，HMC每步的梯度计算次数为$\widetilde{O}((\kappa d)^{0.5}\varepsilon^{-1})$，总时间为$\widetilde{O}((\kappa d)^{1.5}\varepsilon^{-1})$，以在2-沃什伯格距离下获得$\varepsilon$-近似样本。

ABSTRACT

We study Hamiltonian Monte Carlo (HMC) for sampling from a strongly logconcave density proportional to $e^{-f}$ where $f:\mathbb{R}^d o \mathbb{R}$ is $μ$-strongly convex and $L$-smooth (the condition number is $κ= L/μ$). We show that the relaxation time (inverse of the spectral gap) of ideal HMC is $O(κ)$, improving on the previous best bound of $O(κ^{1.5})$; we complement this with an example where the relaxation time is $Ω(κ)$. When implemented using a nearly optimal ODE solver, HMC returns an $\varepsilon$-approximate point in $2$-Wasserstein distance using $\widetilde{O}((κd)^{0.5} \varepsilon^{-1})$ gradient evaluations per step and $\widetilde{O}((κd)^{1.5}\varepsilon^{-1})$ total time.

研究动机与目标

• 弥合哈密顿蒙特卡洛（HMC）在强对数凹分布下收敛速率的已知上界与下界之间的差距。
• 在$\mu$-强凸性和$L$-光滑性条件下，建立理想HMC的最优松弛时间，其中条件数$\kappa = L/\mu$。
• 分析使用近乎最优ODE求解器实现HMC时的计算成本，量化达到$\varepsilon$-精度在2-沃什伯格距离下的梯度计算次数与总时间。
• 提供松弛时间的紧致上下界，证明$O(\kappa)$为最优。

提出的方法

• 分析理想HMC，即精确求解哈密顿ODE系统，忽略数值积分误差。
• 使用谱隙分析来界定HMC马尔可夫链的松弛时间$\tau_{\text{rel}}(P)$。
• 应用文献[9]中关于误差容限为$\delta$的ODE求解器结果，确保$\delta = \sqrt{\mu}T^2\varepsilon/16$以实现受控近似。
• 使用轨迹二阶导数的分段常数近似来界定ODE求解器的复杂度。
• 利用柯西-施瓦茨不等式和高斯速度与梯度的矩不等式，控制每步的期望梯度计算次数。
• 结合$\widetilde{O}$-记号以在复杂度分析中考虑对数因子。

实验结果

研究问题

• RQ1 对于条件数为$\kappa$的强对数凹分布，理想HMC的最优松弛时间是多少？
• RQ2 能否将HMC松弛时间的$O(\kappa^{1.5})$上界改进为$O(\kappa)$？
• RQ3 该$O(\kappa)$界是否紧致，或可进一步降低？
• RQ4 使用近乎最优ODE求解器时，HMC的计算成本（以梯度计算次数与总时间衡量）如何？
• RQ5 梯度计算次数如何随维度$d$、条件数$\kappa$和误差容限$\varepsilon$变化？

主要发现

• 理想HMC的松弛时间为$O(\kappa)$，优于先前的最佳上界$O(\kappa^{1.5})$。
• 构造了一个例子，其松弛时间为$\Omega(\kappa)$，证明$O(\kappa)$为最优。
• 当使用近乎最优的ODE求解器时，HMC每步的梯度计算次数为$\widetilde{O}((\kappa d)^{0.5}\varepsilon^{-1})$。
• 达到$\varepsilon$-精度在2-沃什伯格距离下的总时间复杂度为$\widetilde{O}((\kappa d)^{1.5}\varepsilon^{-1})$。
• 每步的摊销梯度计算成本被限制在$O\left(\frac{\sqrt{\kappa d}}{\varepsilon}\log\left(\frac{\kappa d}{\varepsilon}\right)\right)$以内。
• 该分析确认$O(\kappa)$松弛时间界为紧致，填补了强对数凹目标下HMC收敛速率的理论空白。