[论文解读] Quasi Markov Chain Monte Carlo Methods

Tobias Schwedes, Ben Calderhead|arXiv (Cornell University)|Jun 29, 2018

Mathematical Approximation and Integration参考文献 59被引用 3

一句话总结

本文提出了一种新颖的并行准马尔可夫链蒙特卡洛（QMCMC）框架，利用完全均匀分布（CUD）数实现贝叶斯推断中更快的收敛速率。通过结合多重提议、非可逆转移、自适应核函数以及重要性采样，该方法实现了接近 $n^{-2}$ 的均方误差收敛速率，显著优于标准MCMC在实际模型中的 $n^{-1}$ 速率。

ABSTRACT

Quasi-Monte Carlo (QMC) methods for estimating integrals are attractive since the resulting estimators typically converge at a faster rate than pseudo-random Monte Carlo. However, they can be difficult to set up on arbitrary posterior densities within the Bayesian framework, in particular for inverse problems. We introduce a general parallel Markov chain Monte Carlo (MCMC) framework, for which we prove a law of large numbers and a central limit theorem. In that context, non-reversible transitions are investigated. We then extend this approach to the use of adaptive kernels and state conditions, under which ergodicity holds. As a further extension, an importance sampling estimator is derived, for which asymptotic unbiasedness is proven. We consider the use of completely uniformly distributed (CUD) numbers within the above mentioned algorithms, which leads to a general parallel quasi-MCMC (QMCMC) methodology. We prove consistency of the resulting estimators and demonstrate numerically that this approach scales close to $n^{-2}$ as we increase parallelisation, instead of the usual $n^{-1}$ that is typical of standard MCMC algorithms. In practical statistical models we observe multiple orders of magnitude improvement compared with pseudo-random methods.

研究动机与目标

• 开发一种可扩展的并行MCMC框架，以克服标准伪随机MCMC方法收敛缓慢的问题。
• 将准蒙特卡洛（QMC）方法推广至任意后验分布，超越层次化或低维模型的限制。
• 为基于CUD序列的自适应与非可逆MCMC建立理论保证，如遍历性与渐近无偏性。
• 通过数值实验表明，所提方法在非平凡统计模型中可实现接近 $n^{-2}$ 的收敛速率，与传统QMC方法相当。

提出的方法

• 提出一种多重提议MCMC（MP-MCMC）框架，每轮迭代中生成并评估多个候选状态，支持并行化。
• 引入非可逆转移核，以改善采样过程中的混合性并减少随机游走行为。
• 开发一种自适应核机制，根据历史样本更新提议分布，在正则条件下确保遍历性。
• 推导一种重要性采样估计器，为所有提议点分配权重，消除接受阈值带来的不连续性。
• 将框架推广至使用完全均匀分布（CUD）序列作为驱动随机数，替代伪随机数。
• 在适当的正则条件下（包括耦合区域的存在）证明了所得估计器的一致性与渐近无偏性。

实验结果

研究问题

• RQ1 准蒙特卡洛（QMC）方法能否有效应用于贝叶斯推断中的一般性、非层次化后验分布？
• RQ2 在并行多重提议MCMC框架中使用CUD序列是否能实现比标准MCMC更快的收敛速度？
• RQ3 在MP-MCMC中引入重要性采样能否消除接受-拒绝步骤带来的不连续性并提升QMC性能？
• RQ4 在CUD驱动的MP-MCMC中，自适应核函数在何种条件下可确保遍历性与一致性？
• RQ5 在高维、非交换模型中，是否可能通过QMC技术实现接近 $n^{-2}$ 的MCMC收敛速率？

主要发现

• 所提出的准MCMC方法实现了接近 $n^{-2}$ 的均方误差收敛速率，显著快于标准伪随机MCMC的 $n^{-1}$ 速率。
• 数值实验表明，即使在无显式条件分布的非层次化模型中，该方法相比标准MCMC也实现了数量级上的收敛速度提升。
• MP-MCMC的重要性采样变体能够利用所有提议点实现一致估计，并消除了接受-拒绝步骤引入的不连续性。
• 理论结果建立了自适应MP-MCMC算法的遍历性，以及在正则条件下的重要性采样估计器的渐近无偏性。
• 当使用CUD序列驱动时，该方法具有一致性，且多重提议的使用增强了低差异序列在状态空间中覆盖的有效性。
• 实证结果表明，尽管耦合区域条件在证明中是充分的，但可能并非必要，为未来基于收缩条件的一致性证明开辟了新路径。