[论文解读] Unbiased Bayes for Big Data: Paths of Partial Posteriors

Heiko Strathmann, Dino Sejdinović+1 more|arXiv (Cornell University)|Jan 14, 2015

Gaussian Processes and Bayesian Inference参考文献 24被引用 15

一句话总结

本文提出了一种无偏、计算复杂度亚线性的方法，用于在大数据环境下估计贝叶斯后验期望，通过利用部分后验路径和去偏引理实现。该方法实现了有限且可控的方差，在大规模数据集上相比MCMC和随机变分推断在准确性和速度上均表现更优，且不引入偏差或需要近似转移核。

ABSTRACT

A key quantity of interest in Bayesian inference are expectations of functions with respect to a posterior distribution. Markov Chain Monte Carlo is a fundamental tool to consistently compute these expectations via averaging samples drawn from an approximate posterior. However, its feasibility is being challenged in the era of so called Big Data as all data needs to be processed in every iteration. Realising that such simulation is an unnecessarily hard problem if the goal is estimation, we construct a computationally scalable methodology that allows unbiased estimation of the required expectations -- without explicit simulation from the full posterior. The scheme's variance is finite by construction and straightforward to control, leading to algorithms that are provably unbiased and naturally arrive at a desired error tolerance. This is achieved at an average computational complexity that is sub-linear in the size of the dataset and its free parameters are easy to tune. We demonstrate the utility and generality of the methodology on a range of common statistical models applied to large-scale benchmark and real-world datasets.

研究动机与目标

• 通过避免完整后验模拟，解决马尔可夫链蒙特卡洛（MCMC）在大数据中计算不可行的问题。
• 克服由小批量MCMC方法引入的、对后验分布近似所导致的偏差。
• 开发一种无需从完整后验中模拟即可估计后验期望的框架，确保无偏性与有限方差。
• 在保持准确性和估计误差控制的前提下，实现平均计算复杂度在数据集规模上为亚线性。
• 提供一种通用、即插即用的解决方案，可与任意MCMC或闭式推断方法兼容，用于后验期望估计。

提出的方法

• 通过将去偏引理应用于从数据随机子集推导出的部分后验统计量，构建后验期望的无偏估计量。
• 采用随机截断时间 $ T $ 来处理部分后验路径，其中每条路径均为基于数据随机子集计算的后验。
• 使用几何分布作为 $ T $ 的分布，以确保最终估计量的无偏性与有限方差。
• 通过去偏引理将多个独立的部分后验估计量组合，形成完整后验期望的单一无偏估计量。
• 通过调节截断分布来控制方差，并确保计算复杂度在 $ N $（数据点数量）上为亚线性。
• 可无缝集成至现有MCMC或解析推断方法中，无需对底层推断引擎进行任何修改。

实验结果

研究问题

• RQ1 是否可以在不模拟完整后验的情况下估计后验期望，同时保持无偏性与有限方差？
• RQ2 在大数据环境下，是否可能实现后验期望估计的计算复杂度在 $ N $ 上为亚线性？
• RQ3 在大规模真实世界数据集上，该方法与完整MCMC及随机变分推断相比，在准确性和速度上的表现如何？
• RQ4 所提出的去偏框架中，计算成本与方差之间的权衡关系如何？
• RQ5 该方法是否可普遍适用于不同模型与推断技术，而无需进行模型特定的修改？

主要发现

• 所提方法在大数据环境下实现了后验期望的无偏估计，且方差有限且可控。
• 平均计算复杂度在数据点数量 $ N $ 上为亚线性，使得在大规模数据集上的估计速度超过完整MCMC。
• 在包含 $ N = 32,561 $ 个样本的a9a数据集上，该方法比完整MCMC更快、更准确地估计了第一个回归系数 $ eta_1 $ 的后验均值，而完整MCMC需数天时间才能生成单一样本。
• 该方法在无需利用领域特定结构的前提下，优于当前最先进的随机变分推断方法，在大规模真实世界数据上表现更优。
• 即使部分后验路径早期即稳定，去偏过程仍能可靠收敛，且在所选截断分布下，完整后验采样发生的概率极低。
• 该框架具有天然的并行性，且自由参数的调优需求极少，适用于实际部署。