[论文解读] Population Empirical Bayes

Alp Kucukelbir, David M. Blei|arXiv (Cornell University)|Nov 2, 2014

Gaussian Processes and Bayesian Inference参考文献 1被引用 4

一句话总结

本文提出群体经验贝叶斯（pop-eb），一种层次化贝叶斯框架，通过将经验群体分布建模为通过潜在数据集的先验，提升预测准确性。它使用自助抽样和随机变分推断（bump-vi）来优化预测密度，在回归、混合模型和主题模型中均优于经典贝叶斯推断。

ABSTRACT

Bayesian predictive inference analyzes a dataset to make predictions about new observations. When a model does not match the data, predictive accuracy suffers. We develop population empirical Bayes (POP-EB), a hierarchical framework that explicitly models the empirical population distribution as part of Bayesian analysis. We introduce a new concept, the latent dataset, as a hierarchical variable and set the empirical population as its prior. This leads to a new predictive density that mitigates model mismatch. We efficiently apply this method to complex models by proposing a stochastic variational inference algorithm, called bumping variational inference (BUMP-VI). We demonstrate improved predictive accuracy over classical Bayesian inference in three models: a linear regression model of health data, a Bayesian mixture model of natural images, and a latent Dirichlet allocation topic model of scientific documents.

研究动机与目标

• 解决贝叶斯推断中的模型不匹配问题，当模型无法反映真实数据生成过程时，该问题会降低预测准确性。
• 开发一种将经验群体分布整合到贝叶斯分析中的框架，而无需假设模型正确。
• 在复杂模型（如线性回归、高斯混合模型和主题模型）中提升预测性能。
• 提供一种可扩展、高效的推断方法，在保持贝叶斯一致性的同时对模型误设具有鲁棒性。

提出的方法

• 提出一种层次化模型，通过潜在数据集变量将经验群体分布视为先验。
• 使用自助抽样从原始数据生成 B 个数据集，每个数据集用于计算后验和预测密度。
• 基于在原始数据上的预测准确性，选择表现最佳的自助抽样数据集（X.b⇤）。
• 提出一种称为“bumping 变分推断”（bump-vi）的随机变分推断算法，通过重新加权局部变分参数，高效计算自助样本上的梯度。
• 在变分推断中采用局部-全局分离策略：对每个观测优化局部变量，并通过随机梯度上升更新全局变量。
• 利用子采样等价性实现自助抽样，使在不完整重新训练的情况下，能够高效计算跨自助样本的梯度。

实验结果

研究问题

• RQ1 对经验群体分布进行建模是否能提升在模型误设情况下的贝叶斯预测准确性？
• RQ2 当假设模型错误时，pop-eb 与经典贝叶斯推断相比表现如何？
• RQ3 能否设计一种适用于群体经验贝叶斯的可扩展变分推断方法，同时保持预测性能？
• RQ4 通过自助抽样引入群体分布是否能降低贝叶斯预测的脆弱性？
• RQ5 pop-eb 在回归、混合模型和主题模型等多种模型中表现如何？

主要发现

• 在健康数据的线性回归模型中，pop-eb 的预测准确性优于经典贝叶斯推断，如表1所示。
• 在自然图像的贝叶斯高斯混合模型中，pop-eb 的预测密度比标准贝叶斯推断更贴近真实数据分布，如图5所示。
• 在科学文献的潜在狄利克雷分布模型中，pop-eb 的预测密度比标准贝叶斯推断更贴近经验群体分布，如图7所示。
• bumping 变分推断（bump-vi）通过在自助样本间重新加权局部变分参数，实现了 pop-eb 的高效计算，避免了完整重计算。
• 即使使用尖锐先验，经典贝叶斯推断也无法纠正模型不匹配问题；而 pop-eb 仍能保持更优的预测性能。
• 从数据中估计的经验贝叶斯先验无法缓解模型不匹配问题，但 pop-eb 通过显式建模群体分布解决了该问题。