[论文解读] The No-U-turn sampler: adaptively setting path lengths in Hamiltonian Monte Carlo

Matthew D. Homan, Andrew Gelman|arXiv (Cornell University)|Jan 1, 2014

Markov Chains and Monte Carlo Methods参考文献 27被引用 3,275

一句话总结

No-U-Turn Sampler (NUTS) 通过消除手动设置步数 L 和动态调整步长 ε 的需求，实现了 HMC 的自动化。它使用递归的树生长算法，在轨迹开始回溯自身时自动终止采样，从而实现无需调优的高效、即插即用的推断。

ABSTRACT

Hamiltonian Monte Carlo (HMC) is a Markov chain Monte Carlo (MCMC) algorithm that avoids the random walk behavior and sensitivity to correlated parameters that plague many MCMC methods by taking a series of steps informed by first-order gradient information. These features allow it to converge to high-dimensional target distributions much more quickly than simpler methods such as random walk Metropolis or Gibbs sampling. However, HMC's performance is highly sensitive to two user-specified parameters: a step size e and a desired number of steps L. In particular, if L is too small then the algorithm exhibits undesirable random walk behavior, while if L is too large the algorithm wastes computation. We introduce the No-U-Turn Sampler (NUTS), an extension to HMC that eliminates the need to set a number of steps L. NUTS uses a recursive algorithm to build a set of likely candidate points that spans a wide swath of the target distribution, stopping automatically when it starts to double back and retrace its steps. Empirically, NUTS performs at least as efficiently as (and sometimes more effciently than) a well tuned standard HMC method, without requiring user intervention or costly tuning runs. We also derive a method for adapting the step size parameter e on the fly based on primal-dual averaging. NUTS can thus be used with no hand-tuning at all, making it suitable for applications such as BUGS-style automatic inference engines that require efficient turnkey samplers.

研究动机与目标

• 解决 HMC 对用户指定参数 L（步数）和 ε（步长）的敏感性问题，因为这些参数会显著影响采样效率。
• 消除 HMC 中手动调优步数 L 的需求，否则将导致随机游走行为或计算浪费。
• 开发一种在采样过程中自动调整步长 ε 的机制，利用原始-对偶平均法。
• 设计一种即插即用的 MCMC 采样器，适用于 BUGS 等自动化推断引擎，无需用户干预。

提出的方法

• NUTS 采用递归的树构建算法，将 HMC 轨迹在正向和反向方向上不断扩展，每一步将路径长度加倍。
• 当轨迹开始自身回溯时，算法停止，通过检查轨迹角动量是否反转来检测。
• 基于轨迹两端位置和动量的差异设计检测准则，以判断路径是否开始回溯。
• 通过原始-对偶平均法在采样过程中动态调整步长 ε，从而在长时间内保持稳定且收敛的调优过程。
• 采样器使用蛙跳积分器模拟哈密顿动力学，利用梯度信息引导提议分布。
• 通过保持目标分布在动力学下的不变性，确保细致平衡和正确的平稳分布。

实验结果

研究问题

• RQ1 能否设计一种完全自动化的 HMC 采样器，以消除对步数 L 手动调优的需求？
• RQ2 如何在采样过程中自适应地调整步长 ε，以保持效率和收敛性？
• RQ3 能否开发一种停止准则，自动检测轨迹何时达到探索的边际收益递减点？
• RQ4 在高维目标分布中，NUTS 采样器的效率是否与调优良好的标准 HMC 相当或更优？
• RQ5 NUTS 能否作为插件替代品用于 BUGS 等自动化推断系统，而无需用户配置？

主要发现

• 由于自适应路径长度选择，NUTS 的性能至少与调优良好的标准 HMC 相当，且通常更优。
• 当轨迹开始回溯时，算法会自动终止，避免了对 L 的手动指定。
• 使用原始-对偶平均法进行步长调整，确保了稳定且收敛的调优过程，无需代价高昂的校准运行。
• 实证结果表明，NUTS 在无需用户干预的情况下，能够高效探索高维目标分布。
• 采样器保持了细致平衡和正确的平稳分布，确保了有效的贝叶斯推断。
• NUTS 适用于集成到自动化推断引擎中，实现了高效即插即用的 MCMC 采样。