[论文解读] Simple, Scalable and Accurate Posterior Interval Estimation

Cheng Li, Sanvesh Srivastava+1 more|arXiv (Cornell University)|May 13, 2016

Gaussian Processes and Bayesian Inference参考文献 27被引用 4

一句话总结

本文提出了一种简单、可扩展且理论基础扎实的方法，用于在大规模数据环境中进行后验区间估计。该方法通过在数据子集上并行运行马尔可夫链蒙特卡洛（MCMC）并平均所得的分位数估计值来实现。该方法在计算效率方面表现优异，仅需极少的代码修改，同时其准确性与完整数据MCMC相当。

ABSTRACT

There is a lack of simple and scalable algorithms for uncertainty quantification. Bayesian methods quantify uncertainty through posterior and predictive distributions, but it is difficult to rapidly estimate summaries of these distributions, such as quantiles and intervals. Variational Bayes approximations are widely used, but may badly underestimate posterior covariance. Typically, the focus of Bayesian inference is on point and interval estimates for one-dimensional functionals of interest. In small scale problems, Markov chain Monte Carlo algorithms remain the gold standard, but such algorithms face major problems in scaling up to big data. Various modifications have been proposed based on parallelization and approximations based on subsamples, but such approaches are either highly complex or lack theoretical support and/or good performance outside of narrow settings. We propose a very simple and general posterior interval estimation algorithm, which is based on running Markov chain Monte Carlo in parallel for subsets of the data and averaging quantiles estimated from each subset. We provide strong theoretical guarantees and illustrate performance in several applications.

研究动机与目标

• 解决大规模数据贝叶斯推断中可扩展不确定性量化的问题，其中传统MCMC方法过于缓慢。
• 克服现有可扩展方法（如变分贝叶斯）常低估后验方差的局限性。
• 开发一种在计算上高效且理论上有依据的方法，用于估计后验可信区间。
• 通过仅需微小修改即可将现有MCMC代码库扩展至大规模数据集，实现实际应用。
• 为非困难并行MCMC框架中复杂的组合过程提供一种理论支持的替代方案。

提出的方法

• 将完整数据集划分为非重叠的子集，以实现极度并行的MCMC采样。
• 在每个子集上独立运行标准MCMC算法，生成子集后验分布的后验样本。
• 对于每个感兴趣的单变量函数，从每个子集的后验样本中计算经验分位数（例如，95%可信区间）。
• 通过在所有子集上对下分位数和上分位数估计值取平均，获得最终的后验区间估计。
• 该方法对模型重新参数化保持不变，并避免了复杂的密度估计或几何中心化过程。
• 理论分析在温和正则性条件下建立了平均分位数估计的一致性和收敛速率。

实验结果

研究问题

• RQ1 在大规模数据环境中，仅对子集后验分布的分位数进行简单平均，能否实现准确的后验区间估计？
• RQ2 所提出方法的性能与完整数据MCMC及其他可扩展替代方法（如变分贝叶斯或共识蒙特卡洛）相比如何？
• RQ3 在所提出的框架下，平均分位数估计的准确性具有哪些理论保证？
• RQ4 该方法是否在各种数据结构和模型类型下均保持良好的覆盖率和鲁棒性？
• RQ5 该方法是否可通过极少修改现有MCMC代码库，同时实现显著的速度提升？

主要发现

• 所提出的后验区间估计（PIE）方法在对美国出生率数据的分析中，其可信区间估计与完整数据MCMC结果几乎无法区分。
• 在出生率数据应用中，PIE生成的90%可信区间与完整数据MCMC结果高度一致，截距项的平均覆盖率准确度为0.55（标准误0.12），与MCMC和WASP相当。
• 该方法在所有协变量上均表现出色，准确度指标（如妊娠期的0.91，性别的0.87）与或优于变分贝叶斯和共识蒙特卡洛方法。
• 在计算效率方面，PIE显著快于完整MCMC，且与其他可扩展方法相比具有竞争力，执行时间与数据规模呈线性增长。
• 理论分析证实，在正则性条件下，平均分位数估计器是一致的，收敛速率为O(1/√n)。
• PIE方法为“小自助法袋”（Bag of Little Bootstraps）提供了贝叶斯解释，表明其置信区间对应于自助分布的Wasserstein中位数。