[论文解读] Optimal Scaling of Random-Walk Metropolis Algorithms on General Target Distributions

Jun Yang, Gareth O. Roberts+1 more|arXiv (Cornell University)|Apr 27, 2019

Markov Chains and Monte Carlo Methods参考文献 57被引用 4

一句话总结

本文在贝叶斯统计中针对一般高维目标分布，建立了随机行走Metropolis算法的最优缩放，表明在比以往研究更宽松的i.i.d.乘积假设之外、且可验证的现实条件下，渐近最优接受率为0.234是可实现的。结果通过扩散极限近似推导得出，适用于具有依赖坐标的分布和非高斯目标分布的模型。

ABSTRACT

One main limitation of the existing optimal scaling results for Metropolis--Hastings algorithms is that the assumptions on the target distribution are unrealistic. In this paper, we consider optimal scaling of random-walk Metropolis algorithms on general target distributions in high dimensions arising from practical MCMC models from Bayesian statistics. For optimal scaling by maximizing expected squared jumping distance (ESJD), we show the asymptotically optimal acceptance rate $0.234$ can be obtained under general realistic sufficient conditions on the target distribution. The new sufficient conditions are easy to be verified and may hold for some general classes of MCMC models arising from Bayesian statistics applications, which substantially generalize the product i.i.d. condition required in most existing literature of optimal scaling. Furthermore, we show one-dimensional diffusion limits can be obtained under slightly stronger conditions, which still allow dependent coordinates of the target distribution. We also connect the new diffusion limit results to complexity bounds of Metropolis algorithms in high dimensions.

研究动机与目标

• 将随机行走Metropolis算法的最优缩放理论从严格的i.i.d.乘积目标假设推广至更一般情形。
• 识别出在高维目标分布下，最优接受率0.234成立的一般、可验证的充分条件。
• 在稍强但依然现实的依赖目标分布条件下，推导出RWM的一维扩散极限。
• 将扩散极限结果与高维MCMC算法的复杂度界联系起来。
• 在具有非i.i.d.结构的实际贝叶斯模型（如层次模型和图模型）上验证理论。

提出的方法

• 通过在一般目标分布下最大化期望平方跳跃距离（ESJD），推导最优缩放。
• 提出新的可验证充分条件（A1–A5），允许目标分布中存在依赖坐标。
• 在条件的稍强版本下建立一维扩散极限，从而实现对收敛速度的渐近分析。
• 利用典型集序列和浓度不等式控制尾部概率，确保扩散极限的收敛性。
• 将该框架应用于层次模型和图模型，通过条件分布和对数密度梯度验证条件。
• 采用概率界和矩条件（如m=5）确保尾部概率的可求和性及几乎必然收敛。

实验结果

研究问题

• RQ1 在何种一般条件下，高维目标分布下随机行走Metropolis算法的最优接受率0.234成立？
• RQ2 当目标分布具有依赖坐标时，能否为RWM建立一维扩散极限？
• RQ3 与经典i.i.d.乘积假设相比，新提出的充分条件在实际贝叶斯模型中的适用性如何？
• RQ4 扩散极限与RWM在高维中的计算复杂度之间存在何种关系？
• RQ5 该理论框架能否应用于具有非i.i.d.结构的实际贝叶斯层次模型？

主要发现

• 在不需i.i.d.或乘积结构的通用、可验证条件下，随机行走Metropolis的渐近最优接受率0.234可实现。
• 充分条件（A1–A5）易于验证，且适用于包括具有依赖坐标的层次模型和图模型在内的多个贝叶斯模型类别。
• 在稍强但依然现实的条件下，建立了一维扩散极限，从而可对收敛速度进行渐近分析。
• 结果通过去除严格i.i.d.假设，推广了先前工作，同时保持相同的最优接受率。
• 该框架适用于非高斯目标分布和非高斯提议分布，扩展了对高斯参考测度的限制。
• 理论结果在层次正态方差成分模型上得到验证，所有必要条件均通过条件分布和矩界得到验证。