[论文解读] On the Particle Gibbs Sampler

Nicolás Chopin, Sumeetpal S. Singh|arXiv (Cornell University)|Apr 6, 2013

Markov Chains and Monte Carlo Methods被引用 12

一句话总结

本文提出了一种新型的粒子吉布斯采样器耦合构造，通过增加粒子系统规模来确保高耦合概率，证明了马尔可夫核的统一遍历性。该文引入了算法变体，提高了渐近效率，相较于原始方法，其在中心极限定理近似中的方差更低。

ABSTRACT

Abstract. The particle Gibbs sampler is a Markov chain Monte Carlo (MCMC) algorithm which operates on the extended space of the auxiliary variables generated by an interacting particle system. In particular, it samples the discrete variables that determine the particle genealogy. We propose a coupling construction between two particle Gibbs updates from different starting points, which is such that the coupling probability may be made arbitrary large by taking the particle system large enough. A direct consequence of this result is the uniform ergodicity of the Particle Gibbs Markov kernel. We discuss several algorithmic variations of Particle Gibbs, either proposed in the literature or original. For some of these variants we are able to prove that they dominate the original algorithm in asymptotic efficiency as measured by the variance of the central limit theorem’s limiting distribution. A detailed numerical study is provided to demonstrate the efficacy of Particle Gibbs and the proposed variants. 1.

研究动机与目标

• 建立粒子吉布斯马尔可夫核的统一遍历性，这是MCMC收敛保证的关键理论性质。
• 通过引入耦合机制，解决标准粒子吉布斯采样中缺乏理论收敛速率控制的问题。
• 开发并分析粒子吉布斯采样的算法变体，以提高蒙特卡洛估计中的渐近效率。
• 通过数值研究证明，所提出的变体在方差减少方面优于原始粒子吉布斯采样方法。

提出的方法

• 在来自不同初始状态的两个粒子吉布斯更新之间引入耦合构造，确保高概率的耦合发生。
• 利用交互粒子系统生成的辅助变量扩展空间，定义粒子谱系上的耦合。
• 将粒子系统的规模作为调节参数，以控制耦合概率，使其在粒子数量足够多时可任意接近1。
• 将耦合应用于证明粒子吉布斯核的统一遍历性，这是一种强于标准几何遍历性的收敛性质。
• 提出并分析粒子吉布斯的变体，包括重采样策略和提议分布的修改，以增强渐近效率。
• 采用基于中心极限定理的方差分析，比较不同变体的渐近效率，识别出具有更低极限方差的变体。

实验结果

研究问题

• RQ1 能否为粒子吉布斯采样设计一种耦合构造，以确保两条马氏链之间具有高概率的耦合？
• RQ2 这种耦合是否能导致粒子吉布斯马尔可夫核的统一遍历性？
• RQ3 哪些粒子吉布斯采样的算法变体在渐近效率上优于原始方法？
• RQ4 在中心极限定理近似中，所提出的变体在方差减少方面如何比较？
• RQ5 通过数值研究，能否在经验上验证理论上的遍历性和效率改进？

主要发现

• 所提出的耦合构造表明，通过增加粒子数量，可使两条粒子吉布斯链之间的耦合概率任意接近1。
• 统一遍历性作为耦合构造的直接结果被确立。
• 多个粒子吉布斯采样的变体被证明在渐近效率上优于原始方法，其衡量标准为极限分布中更低的方差。
• 数值研究表明，所提出的变体在方差减少方面显著优于标准粒子吉布斯采样器。
• 理论结果得到了实证证据的支持，显示在实际应用中收敛速度更快且估计精度更高。
• 耦合机制为验证收敛性和改善粒子吉布斯算法的混合性提供了实用路径。