[论文解读] Wasserstein-based methods for convergence complexity analysis of MCMC with application to Albert and Chib's algorithm

Qian Qin, James P. Hobert|arXiv (Cornell University)|Oct 20, 2018

Markov Chains and Monte Carlo Methods参考文献 38被引用 6

一句话总结

本文提出基于Wasserstein的方法，分析高维设置下马尔可夫链蒙特卡洛（MCMC）算法（特别是Albert和Chib的算法）的收敛复杂度，其中样本量$n$和协变量数量$p$均增长。与传统漂移和极小化（d&m）技术不同，后者在维度增加时性能下降，Wasserstein方法可得到更紧密、更稳健的收敛速率界，成功捕捉了联合渐近情形$n, p \to \infty$下的行为，弥补了以往基于d&m分析留下的空白。

ABSTRACT

Over the last 25 years, techniques based on drift and minorization (d&m) have been mainstays in the convergence analysis of MCMC algorithms. However, results presented herein suggest that d&m may be less useful in the emerging area of convergence complexity analysis, which is the study of how Monte Carlo Markov chain convergence behavior scales with sample size, $n$, and/or number of covariates, $p$. The problem appears to be that minorization becomes a serious liability as dimension increases. Alternative methods of constructing convergence rate bounds (with respect to total variation distance) that do not require minorization are investigated. These methods incorporate both old and new theory on Wasserstein distance and random mappings, and produce bounds that are apparently more robust to increasing dimension than those based on d&m. Indeed, the Wasserstein-based bounds are used to develop strong convergence complexity results for Albert and Chib's (1993) algorithm in the challenging asymptotic regime where both $n$ and $p$ diverge. We note that Qin and Hobert's (2019) d&m-based analysis of the same algorithm led to useful results in the cases where $n ightarrow \infty$ with $p$ fixed, and $p ightarrow \infty$ with $n$ fixed, but these authors provided no results for the case where $n$ and $p$ are both large.

研究动机与目标

• 解决随着维度增加，漂移和极小化（d&m）方法在MCMC算法收敛复杂度分析中的局限性。
• 开发避免极小化条件的替代收敛速率界，该条件在高维设置下成为负担。
• 将这些新界应用于Albert和Chib（1993）的算法，在样本量$n$和协变量数量$p$同时发散的挑战性情形下。
• 在联合渐近情形$n, p \to \infty$下，首次提供Albert和Chib算法的收敛复杂度结果，而d&m方法在此情形下失效。

提出的方法

• 本文利用Wasserstein距离和随机映射的最新理论进展，构建收敛速率界。
• 用基于Wasserstein的耦合框架替代d&m中的极小化条件，以更好地处理高维依赖结构。
• 该方法利用马尔可夫转移核及其Wasserstein收缩率的性质，推导出对维度不敏感的界。
• 结合旧有与新的Wasserstein距离理论，分析在联合渐近下MCMC采样器的收敛行为。
• 该方法特别应用于Albert和Chib的算法，这是一种广泛用于贝叶斯逻辑回归的MCMC方法。
• 通过耦合论证和Wasserstein距离的度量性质，推导出理论界，以量化高维参数空间中的收敛速度。

实验结果

研究问题

• RQ1 在$n$和$p$均增长的高维设置下，MCMC算法的收敛复杂度分析能否得到改进？
• RQ2 为何传统漂移和极小化（d&m）方法在联合渐近情形$n, p \to \infty$下失效？
• RQ3 在高维下，基于Wasserstein的方法能否提供比d&m更紧密、更稳健的收敛速率界？
• RQ4 当$n$和$p$同时发散时，Albert和Chib算法的收敛行为如何？
• RQ5 基于d&m的分析（如Qin和Hobert，2019年）是否未能捕捉高维渐近下MCMC收敛的全部复杂性？

主要发现

• 基于Wasserstein的方法产生的收敛速率界比基于漂移和极小化的方法对维度增加更具鲁棒性。
• 所提出的方法成功推导出Albert和Chib算法在联合渐近情形$n, p \to \infty$下的强收敛复杂度结果，而以往基于d&m的分析无法实现此目标。
• 在高维设置下，极小化条件成为显著负担，限制了传统d&m技术的适用性。
• Wasserstein基于的界被证明在捕捉MCMC收敛与$n$和$p$的标度行为方面更有效。
• 该方法克服了Qin和Hobert（2019年）基于d&m分析的关键局限，后者仅在$n \to \infty$且$p$固定或$p \to \infty$且$n$固定的情形下提供结果，但无法处理两者均较大的情形。