[论文解读] Variance reduction for MCMC methods via martingale representations

Denis Belomestny, Éric Moulines+2 more|arXiv (Cornell University)|Mar 18, 2019

Markov Chains and Monte Carlo Methods参考文献 23被引用 4

一句话总结

本文提出了一种针对马尔可夫链的可加泛函的非渐近方差缩减技术，该技术基于一种新颖的离散时间鞅表示。通过消除对平稳分布或遍历性的依赖，该方法在成本-方差乘积方面优于朴素的MCMC方法，且在Langevin型MCMC方法中表现出改进效果。

ABSTRACT

In this paper we propose an efficient variance reduction approach for additive functionals of Markov chains relying on a novel discrete time martingale representation. Our approach is fully non-asymptotic and does not require the knowledge of the stationary distribution (and even any type of ergodicity) or specific structure of the underlying density. By rigorously analyzing the convergence properties of the proposed algorithm, we show that its cost-to-variance product is indeed smaller than one of the naive algorithm. The numerical performance of the new method is illustrated for the Langevin-type Markov Chain Monte Carlo (MCMC) methods.

研究动机与目标

• 开发一种针对马尔可夫链可加泛函的非渐近方差缩减方法，且无需知晓平稳分布。
• 消除在MCMC采样中对目标密度特定结构假设或遍历性条件的需求。
• 与标准MCMC算法相比，实现更低的成本-方差乘积。
• 提供一种理论基础坚实的通用MCMC设置适用方法，包括Langevin型采样器。

提出的方法

• 该方法采用离散时间鞅表示，将马尔可夫链的可加泛函分解为不相关增量之和。
• 基于鞅表示构建控制变量，可在不依赖平稳分布的情况下降低估计量的方差。
• 该方法完全是非渐近的，仅依赖于马尔可夫链的路径性质，而不依赖于长期行为。
• 通过投影到鞅差分空间实现方差缩减，确保校正项的均值为零。
• 该算法在无需事先了解目标密度结构或遍历性的情况下实现。
• 理论分析表明，成本-方差乘积严格小于朴素估计量。

实验结果

研究问题

• RQ1 能否开发一种MCMC方差缩减技术，使其无需依赖平稳分布或遍历性？
• RQ2 如何利用鞅表示在离散时间马尔可夫链中构建有效的控制变量？
• RQ3 与标准MCMC估计量相比，所提方法的理论成本-方差权衡如何？
• RQ4 该方法在Langevin MCMC等实际设置中是否仍能保持方差缩减？
• RQ5 该方法能否在不施加目标密度结构假设的情况下应用于一般可加泛函？

主要发现

• 所提方法在成本-方差乘积方面严格优于朴素MCMC估计量，证明了采样效率的提升。
• 方差缩减是非渐近的，且不依赖于链达到平稳性或特定的遍历性条件。
• 该方法适用于一般可加泛函，且无需知晓平稳分布或对目标密度施加结构假设。
• 数值实验证实该方法在Langevin型MCMC中的有效性，展示了在各类测试案例中的一致方差缩减。
• 鞅表示为在广泛类别的MCMC算法中构建控制变量提供了理论坚实的基础。