[论文解读] The Geometric Foundations of Hamiltonian Monte Carlo

Michael Betancourt, Simon Byrne+2 more|arXiv (Cornell University)|Oct 19, 2014

Markov Chains and Monte Carlo Methods参考文献 48被引用 33

一句话总结

本文利用微分几何建立了哈密顿蒙特卡洛（HMC）的几何基础，表明高效的采样要求在光滑流形上保持体积不变的动力学。论文证明HMC的成功源于辛结构和测度论的一致性，为系统化实现和推广提供了严格的理论框架。

ABSTRACT

Although Hamiltonian Monte Carlo has proven an empirical success, the lack of a rigorous theoretical understanding of the algorithm has in many ways impeded both principled developments of the method and use of the algorithm in practice. In this paper we develop the formal foundations of the algorithm through the construction of measures on smooth manifolds, and demonstrate how the theory naturally identifies efficient implementations and motivates promising generalizations.

研究动机与目标

• 解决哈密顿蒙特卡洛在经验成功背后缺乏理论理解的问题。
• 将HMC形式化为基于光滑流形、纤维丛和辛几何构造的马尔可夫核。
• 识别确保高效采样和体积保持的关键几何与测度论性质。
• 为设计稳健、可扩展的HMC实现和推广提供严格的理论框架。
• 统一概率推断与微分几何，实现系统化算法开发。

提出的方法

• 通过流形上的光滑测度构造马尔可夫核，确保概率传播的正确性。
• 应用分解定理在纤维丛上定义正则条件概率测度。
• 利用黎曼几何与辛几何在弯曲参数空间上定义哈密顿动力学。
• 引入水平提升与正向定向标架的概念，以分解全空间上的测度。
• 应用前推测度条件，确保基空间与纤维测度之间的一致性。
• 通过辛结构与典范测度证明微正则分布关于哈密顿流的不变性。

实验结果

研究问题

• RQ1 高效哈密顿蒙特卡洛采样所必需的几何与测度论性质是什么？
• RQ2 为何HMC中的体积保持积分器能实现可扩展性能，而非体积保持的替代方法在高维下会失败？
• RQ3 如何在光滑流形与纤维丛上一致地定义和分解概率测度？
• RQ4 辛结构与黎曼结构在复杂高维模型中使HMC成功的作用机制是什么？
• RQ5 该理论框架如何推广以将HMC扩展至标准实现之外的范围？

主要发现

• 本文证明了哈密顿能量面上的微正则分布关于对应哈密顿流保持不变，从而确保了遍历性。
• 当前推测度光滑且基空间标架为正向定向时，证明了纤维丛上存在唯一的正则条件概率测度。
• 该理论表明，体积保持动力学对实现可扩展的HMC性能至关重要，解释了非体积保持方案（如可压缩HMC）在高维下失效的原因。
• 通过辛几何与分解定理构造HMC为马尔可夫核，为实现提供了严格且系统化的理论基础。
• 该框架自然揭示了水平提升与黎曼度量在定义曲流形上高效提议机制中的作用。
• 该形式化方法通过一致的几何构造，使HMC能够推广至非欧几里得参数空间与复杂层次模型。