[论文解读] Suppressing Random Walks in Markov Chain Monte Carlo Using Ordered Overrelaxation

Radford M. Neal|ArXiv.org|Jun 22, 1995

Bayesian Methods and Mixture Models被引用 31

一句话总结

本文提出了一种用于马尔可夫链蒙特卡洛（MCMC）的有序松弛方法，通过使用顺序统计量生成更系统的状态转移，从而抑制随机游走行为。该方法适用于累积分布函数和逆累积分布函数可高效计算的分布，在高维、依赖性强的模型中显著提升了混合效率并减少了随机游走的低效性。

ABSTRACT

Markov chain Monte Carlo methods such as Gibbs sampling and simple forms of the Metropolis algorithm typically move about the distribution being sampled via a random walk. For the complex, high-dimensional distributions commonly encountered in Bayesian inference and statistical physics, the distance moved in each iteration of these algorithms will usually be small, because it is difficult or impossible to transform the problem to eliminate dependencies between variables. The inefficiency inherent in taking such small steps is greatly exacerbated when the algorithm operates via a random walk, as in such a case moving to a point n steps away will typically take around n^2 iterations. Such random walks can sometimes be suppressed using ``overrelaxed'' variants of Gibbs sampling (a.k.a. the heatbath algorithm), but such methods have hitherto been largely restricted to problems where all the full conditional distributions are Gaussian. I present an overrelaxed Markov chain Monte Carlo algorithm based on order statistics that is more widely applicable. In particular, the algorithm can be applied whenever the full conditional distributions are such that their cumulative distribution functions and inverse cumulative distribution functions can be efficiently computed. The method is demonstrated on an inference problem for a simple hierarchical Bayesian model.

研究动机与目标

• 解决高维、高度依赖分布中随机游走MCMC的低效性问题。
• 将松弛方法从高斯全条件分布扩展至更一般的分布。
• 开发一种在保持细致平衡的同时加快状态空间探索速度的方法。
• 为复杂贝叶斯模型中标准吉布斯采样和梅特罗波利斯算法提供一种实用且广泛适用的替代方案。

提出的方法

• 提出一种基于顺序统计量的松弛MCMC算法，以减少随机游走行为。
• 在每次迭代中，算法从K个先前状态的有序集合中选择一个状态，用于更新当前变量。
• 更新过程利用累积分布函数的逆函数，基于均匀分布的随机变量生成新值。
• 该方法保持细致平衡，且对任意累积分布函数和其逆函数可高效计算的全条件分布均有效。
• 该方法将松弛推广至高斯模型之外，使其在贝叶斯推断中具有更广泛的应用潜力。
• 该算法在层次贝叶斯模型上进行了演示，结果表明其混合效率显著优于标准吉布斯采样。

实验结果

研究问题

• RQ1 能否将松弛方法推广至高斯全条件分布之外，以提升MCMC效率？
• RQ2 有序松弛如何在高维、依赖性强的模型中抑制随机游走行为？
• RQ3 先前状态数K对混合效率与收敛性有何影响？
• RQ4 该方法在加速复杂后验分布探索的同时是否仍保持细致平衡？
• RQ5 该方法能否应用于具有强变量依赖性的非高斯、高维贝叶斯模型？

主要发现

• 所提出的有序松弛方法能有效抑制MCMC中的随机游走行为，减少探索状态空间所需的迭代次数。
• 该方法适用于任何累积分布函数及其逆函数可高效计算的分布。
• 在测试的层次贝叶斯模型中，该算法相比标准吉布斯采样表现出显著改善的混合效率。
• 该方法保持细致平衡，确保收敛至正确的目标分布。
• 性能对K的选择较为敏感，最优K值可提升收敛速度。
• 该方法为在导数不可用或难以计算的场景下提供了实用的哈密顿蒙特卡洛替代方案。