[论文解读] Partial Ordering of Inhomogeneous Markov Chains with Applications to Markov Chain Monte Carlo Methods

Florian Maire, Randal Douc+1 more|arXiv (Cornell University)|Jul 14, 2013

Markov Chains and Monte Carlo Methods参考文献 4被引用 1

一句话总结

本文引入了一种针对由两个 $π$-可逆核 $P$ 和 $Q$ 驱动的非齐次马尔可夫链的偏序关系，通过一阶自协方差序实现其渐近方差的直接比较。核心贡献是一个理论框架，证明了所提出的新型精确方法——随机刷新算法——在保持与马尔可夫链蒙特卡洛内 Metropolis 方法相当的计算效率的同时，其渐近方差低于分组独立 Metropolis-Hastings 算法。

ABSTRACT

In this paper, we study the asymptotic variance of sample path averages for inhomogeneous Markov chains that evolve alternatingly according to two different $\pi$-reversible Markov transition kernels $P$ and $Q$. More specifically, our main result allows us to compare directly the asymptotic variances of two inhomogeneous Markov chains associated with different kernels $P_i$ and $Q_i$, $i\in\{0,1\}$, as soon as the kernels of each pair $(P_0,P_1)$ and $(Q_0,Q_1)$ can be ordered in the sense of lag-one autocovariance. As an important application, we use this result for comparing different data-augmentation-type Metropolis-Hastings algorithms. In particular, we compare some pseudo-marginal algorithms and propose a novel exact algorithm, referred to as the random refreshment algorithm, which is more efficient, in terms of asymptotic variance, than the Grouped Independence Metropolis-Hastings algorithm and has a computational complexity that does not exceed that of the Monte Carlo Within Metropolis algorithm.

研究动机与目标

• 开发一种理论框架，用于比较交替使用转移核的非齐次马尔可夫链中的渐近方差。
• 基于核序关系，实现对不同类型数据增广型 Metropolis-Hastings 算法的渐近方差直接比较。
• 设计一种渐近方差低于现有方法的更高效精确采样算法。
• 确保所提出的算法在保持计算复杂度与马尔可夫链蒙特卡洛内 Metropolis 方法相当的同时，提升采样效率。

提出的方法

• 作者基于转移核的一阶自协方差结构定义了一种偏序关系，用于比较渐近方差。
• 他们建立了理论条件，证明一个非齐次链在渐近方差方面可支配另一个。
• 该方法适用于在两个 $π$-可逆核 $P$ 和 $Q$ 之间交替的链。
• 该框架被应用于比较伪边缘算法，并推导出一种新型精确算法——随机刷新算法。
• 随机刷新算法通过在基础核与刷新步骤之间交替，以降低渐近方差。
• 理论比较表明，新算法在方差方面优于分组独立 Metropolis-Hastings 算法，同时与马尔可夫链蒙特卡洛内 Metropolis 方法的计算成本相当。

实验结果

研究问题

• RQ1 能否基于一阶自协方差的偏序关系，比较交替使用核的非齐次马尔可夫链的渐近方差？
• RQ2 随机刷新算法在渐近方差和计算成本方面与现有精确算法相比如何？
• RQ3 能否设计一种新型精确 Metropolis-Hastings 算法，使其渐近方差低于分组独立 Metropolis-Hastings 算法？
• RQ4 所提出的方法是否在提升采样效率的同时保持计算效率？

主要发现

• 随机刷新算法的渐近方差低于分组独立 Metropolis-Hastings 算法。
• 所提出的算法的计算复杂度不超过马尔可夫链蒙特卡洛内 Metropolis 算法的复杂度。
• 基于一阶自协方差的偏序关系使得不同非齐次马尔可夫链之间渐近方差的直接比较成为可能。
• 该框架可通过核序关系实现对数据增广型 Metropolis-Hastings 算法的理论比较。