[论文解读] Peskun-Tierney ordering for Markov chain and process Monte Carlo: beyond the reversible scenario

Christophe Andrieu, Samuel Livingstone|arXiv (Cornell University)|Jun 14, 2019

Markov Chains and Monte Carlo Methods参考文献 55被引用 8

一句话总结

本论文通过引入基于Yaglom可逆性和等距对合的新型算子理论结构，将Peskun-Tierney排序框架扩展至非可逆马尔可夫链与过程MCMC方法。其建立了类似于可逆情形的性能比较结果，实现了对非可逆采样器（如提升Metropolis-Hastings和非可逆扩散过程）的严格分析，并证明了长期存在的猜想，将先前结果推广至可逆性之外的更广泛设置。

ABSTRACT

Historically time-reversibility of the transitions or processes underpinning Markov chain Monte Carlo methods (MCMC) has played a key rôle in their development, while the self-adjointness of associated operators together with the use of classical functional analysis techniques on Hilbert spaces have led to powerful and practically successful tools to characterize and compare their performance. Similar results for algorithms relying on nonreversible Markov processes are scarce. We show that for a type of nonreversible Monte Carlo Markov chains and processes, of current or renewed interest in the Physics and Statistical literatures, it is possible to develop comparison results which closely mirror those available in the reversible scenario. We show that these results shed light on earlier literature, proving some conjectures and strengthening some earlier results.

研究动机与目标

• 开发一种用于比较非可逆MCMC算法的理论框架，此类算法日益被使用，但与可逆版本相比仍理解不足。
• 通过基于修正细致平衡的新型算子结构，将先前仅限于可逆链的Peskun-Tierney排序推广至非可逆过程。
• 为非可逆采样器（包括提升Metropolis-Hastings和非可逆扩散过程）提供严格的性能比较，这些方法目前尚在现有理论的覆盖范围之外。
• 通过新方法正式证明长期存在的猜想，并强化非可逆MCMC中关于渐近方差与收敛速度的早期结果。
• 通过识别共同结构特性——转移核的伴随可表示为涉及等距对合的复合形式——统一并推广现有非可逆MCMC结果。

提出的方法

• 引入一类广义的非可逆MCMC算法，其转移核P满足 μ(x,v)P(x,v;y,w) = μ(y,w)QPQ(y,w;x,v)，其中Q为等距对合，从而建立非自伴算子框架。
• 将关键结构条件定义为Yaglom可逆性，即P的伴随为QPQ，且Q² = I，使泛函分析工具可被拓展至非自伴（不可逆）情形。
• 将此结构应用于离散时间马尔可夫链与连续时间马尔可夫过程，将理论扩展至非可逆扩散过程与跳跃过程。
• 使用正则化强度φε(r)近似转移核，满足φε(r) < 1（当ε > 0时），且φε(r) → φ₀(r)（当ε → 0时），以确保收敛性与稳定性。
• 在L²(μ)中运用压缩性质与密度论证，证明正则化核Pᵗε收敛至Pᵗ，确保强连续性与近似有效性。
• 应用泛函分析结果，包括半群理论与谱界，通过新排序推导性能比较，类比于Peskun定理。

实验结果

研究问题

• RQ1 尽管缺乏细致平衡与自伴性，能否为非可逆MCMC算法建立类似Peskun-Tierney的排序？
• RQ2 何种结构条件使非可逆MCMC中的性能比较成为可能？其如何推广至可逆情形？
• RQ3 能否利用此新框架对提升Metropolis-Hastings算法进行严格分析与比较？
• RQ4 非可逆扩散过程与跳跃过程如何融入此扩展排序中？其理论性质为何？
• RQ5 能否通过此新算子理论方法，正式证明或强化非可逆MCMC中既有的猜想与部分结果？

主要发现

• 本论文通过证明在一类非可逆MCMC算法中，估计器的性能排序由非自伴算子结构下核的作用所决定，建立了Peskun-Tierney排序的非可逆类比。
• 证明了提升Metropolis-Hastings方法满足新排序条件，证实了关于其效率提升的长期猜想。
• 通过新框架可严格比较并界定非可逆采样器中估计器的渐近方差，推广了[52]与[40]的结果。
• 建立了正则化核Pᵗε在L²(μ)中收敛至Pᵗ的结果，误差界为−log(1 − [exp(ε)−1]¹ᐟ²)t‖f‖∞，确保近似稳定性。
• 该方法在更广泛设定下直接且严格地证明了[40]中的结果，并与[37]的早期工作建立联系，将他们的框架推广至非可逆过程。
• 该理论同时适用于离散时间马尔可夫链与连续时间马尔可夫过程，在单一结构原则下统一了两类系统的分析。