[论文解读] Sampling Algorithms, from Survey Sampling to Monte Carlo Methods: Tutorial and Literature Review

Benyamin Ghojogh, Hadi Nekoei+3 more|arXiv (Cornell University)|Nov 2, 2020

Bayesian Methods and Mixture Models参考文献 77被引用 10

一句话总结

本教程与文献综述全面概述了采样算法，涵盖调查抽样（例如简单随机抽样、分层抽样）和蒙特卡罗方法（例如重要性采样、梅特罗波利斯-黑斯廷斯算法、吉布斯抽样）。它统一了统计学与机器学习中的两大采样范式，提供了理论基础、算法细节以及方法的对比分析，并在计算物理、金融和强化学习等领域具有应用价值。

ABSTRACT

This paper is a tutorial and literature review on sampling algorithms. We have two main types of sampling in statistics. The first type is survey sampling which draws samples from a set or population. The second type is sampling from probability distribution where we have a probability density or mass function. In this paper, we cover both types of sampling. First, we review some required background on mean squared error, variance, bias, maximum likelihood estimation, Bernoulli, Binomial, and Hypergeometric distributions, the Horvitz-Thompson estimator, and the Markov property. Then, we explain the theory of simple random sampling, bootstrapping, stratified sampling, and cluster sampling. We also briefly introduce multistage sampling, network sampling, and snowball sampling. Afterwards, we switch to sampling from distribution. We explain sampling from cumulative distribution function, Monte Carlo approximation, simple Monte Carlo methods, and Markov Chain Monte Carlo (MCMC) methods. For simple Monte Carlo methods, whose iterations are independent, we cover importance sampling and rejection sampling. For MCMC methods, we cover Metropolis algorithm, Metropolis-Hastings algorithm, Gibbs sampling, and slice sampling. Then, we explain the random walk behaviour of Monte Carlo methods and more efficient Monte Carlo methods, including Hamiltonian (or hybrid) Monte Carlo, Adler's overrelaxation, and ordered overrelaxation. Finally, we summarize the characteristics, pros, and cons of sampling methods compared to each other. This paper can be useful for different fields of statistics, machine learning, reinforcement learning, and computational physics.

研究动机与目标

• 提供关于两大主要采样范式的统一教程与文献综述：调查抽样与从概率分布中抽样。
• 弥合经典调查抽样技术与机器学习和计算统计中使用的现代蒙特卡罗方法之间的差距。
• 提供对采样方法的对比分析，包括其理论基础、优势与局限性。
• 为研究人员和实践者在统计学、机器学习与计算物理等应用中选择合适的采样技术提供支持。

提出的方法

• 回顾基础统计概念，包括均方误差、偏差、方差、最大似然估计以及关键分布（伯努利分布、二项分布、超几何分布）。
• 解释调查抽样方法，如简单随机抽样、自助法、分层抽样、整群抽样以及多阶段、网络与雪球抽样。
• 介绍用于从复杂概率分布中抽样的蒙特卡罗方法，包括简单蒙特卡罗（重要性采样、拒绝采样）和马尔可夫链蒙特卡罗（梅特罗波利斯、梅特罗波利斯-黑斯廷斯、吉布斯、切片采样）。
• 讨论提升采样效率的高级技术，如哈密顿蒙特卡罗、阿德勒超松弛法与有序超松弛法。
• 通过数学推导与证明，确立关键采样算法的有效性，包括平稳性与细致平衡条件。
• 基于收敛行为、计算成本以及对不同类型问题的适用性，对比不同采样方法。

实验结果

研究问题

• RQ1 调查抽样与蒙特卡罗抽样在其基本假设与应用场景上有哪些不同？
• RQ2 像梅特罗波利斯-黑斯廷斯与吉布斯抽样这样的主要蒙特卡罗采样算法具有哪些理论保证与性能特征？
• RQ3 像哈密顿蒙特卡罗与超松弛法这样的高级采样技术如何改善混合性与收敛速度？
• RQ4 在独立性、相关性与计算成本方面，简单蒙特卡罗与马尔可夫链蒙特卡罗方法之间的权衡是什么？
• RQ5 采样方法在强化学习、计算物理与金融等领域的有效应用方式是什么？

主要发现

• 霍尔维茨-汤普森估计量在调查抽样中能提供总体总值的无偏估计，尤其在不等概率抽样下表现良好。
• 分层抽样与整群抽样通过利用总体结构降低估计方差，当群内同质性较高时，整群抽样表现出更低的方差。
• 重要性采样与拒绝采样在简单蒙特卡罗近似中有效，但在高维空间中可能面临高方差或低效率问题。
• 梅特罗波利斯-黑斯廷斯与吉布斯抽样确保细致平衡并收敛至目标分布，当条件分布正确时，吉布斯抽样可实现100%接受率。
• 哈密顿蒙特卡罗与超松弛技术显著改善混合性并减少随机游走行为，从而在MCMC中实现更快收敛。
• 理论证明表明梅特罗波利斯算法满足细致平衡条件，而吉布斯抽样由于条件分布更新而保持平稳性。