[论文解读] Subsampling MCMC - A review for the survey statistician

Matias Quiroz, Mattias Villani+3 more|arXiv (Cornell University)|Jul 23, 2018

Statistical Methods and Bayesian Inference被引用 2

一句话总结

本文提出了子采样MCMC（Subsampling MCMC），这是一种伪边缘似然MCMC方法，通过使用数据子采样来减轻大规模数据集中的计算负担，从而加速贝叶斯推断。该方法利用抽样调查技术，在显著提升可扩展性的同时保持统计准确性，为调查统计学家进入MCMC方法提供了实用的切入点。

ABSTRACT

The rapid development of computing power and efficient Markov Chain Monte Carlo (MCMC) simulation algorithms have revolutionized Bayesian statistics, making it a highly practical inference method in applied work. However, MCMC algorithms tend to be computationally demanding, and are particularly slow for large datasets. Data subsampling has recently been suggested as a way to make MCMC methods scalable on massively large data, utilizing efficient sampling schemes and estimators from the survey sampling literature. These developments tend to be unknown by many survey statisticians who traditionally work with non-Bayesian methods, and rarely use MCMC. Our article explains the idea of data subsampling in MCMC by reviewing one strand of work, Subsampling MCMC, a so called pseudo-marginal MCMC approach to speeding up MCMC through data subsampling. The review is written for a survey statistician without previous knowledge of MCMC methods since our aim is to motivate survey sampling experts to contribute to the growing Subsampling MCMC literature.

研究动机与目标

• 通过在大规模数据集中引入子采样技术，弥合抽样调查与贝叶斯MCMC之间的差距。
• 激励通常不熟悉MCMC的调查统计学家，使其能够为新兴的Subsampling MCMC文献做出贡献。
• 为无MCMC经验的读者提供一份自包含的Subsampling MCMC综述。
• 突出展示抽样调查估计量与MCMC算法之间的协同作用，以实现可扩展的贝叶斯推断。

提出的方法

• 该方法采用伪边缘似然MCMC框架，通过数据子采样使用无偏似然估计量。
• 利用抽样调查设计从全量数据集中抽取子样本，以近似全数据似然。
• 将似然近似结果用于梅特罗波利斯-黑斯廷斯接受率中，确保在极限情况下能够正确地目标化后验分布。
• 基于抽样调查理论中的效率与方差减少原则选择子采样方案。
• 该方法在降低每次迭代计算成本的同时，保持了MCMC推断的有效性。
• 通过在计算速度与似然估计方差之间进行可控权衡，实现了可扩展的贝叶斯推断。

实验结果

研究问题

• RQ1 如何将数据子采样整合到MCMC算法中，以在保持后验准确性的同时提高计算效率？
• RQ2 抽样调查技术在加速大规模数据集的MCMC中扮演何种角色？
• RQ3 为何当前的MCMC方法对海量数据集计算上不可行，而子采样如何缓解此问题？
• RQ4 如何激励传统上非贝叶斯的调查统计学家，使其能够为MCMC的发展做出贡献？
• RQ5 在MCMC中构建高效且有效的子采样方案的关键设计原则是什么？

主要发现

• Subsampling MCMC通过降低MCMC算法中似然评估的计算成本，实现了可扩展的贝叶斯推断。
• 尽管使用了子采样似然，该方法在温和的正则性条件下仍能保持目标后验分布的正确性。
• 基于抽样调查设计推导出的无偏似然估计量，确保了MCMC链在极限情况下的有效性。
• 该方法显著减少了每次MCMC迭代的运行时间，同时不牺牲统计准确性。
• 抽样调查的专业知识可直接用于设计高效且低方差的MCMC子采样方案。
• 该框架为调查统计学家与贝叶斯计算研究者之间的合作开辟了新途径。