[论文解读] Robust Inference and Model Criticism Using Bagged Posteriors

Jonathan H. Huggins, Jeffrey W. Miller|arXiv (Cornell University)|Dec 15, 2019

Statistical Methods and Inference参考文献 40被引用 11

一句话总结

本文提出 BayesBag，一种鲁棒的贝叶斯推断方法，通过平均自 resampling 数据集得到的后验分布，提升在模型误设情况下的不确定性量化与预测准确性。该文建立了 BayesBag 的渐近理论，并提出一种模型-数据不匹配指数以诊断误设问题，实证结果表明其在合成数据与真实世界场景下，于线性回归、稀疏逻辑回归及层次模型中，性能优于标准贝叶斯推断与自助法。

ABSTRACT

Standard Bayesian inference is known to be sensitive to model misspecification, leading to unreliable uncertainty quantification and poor predictive performance. However, finding generally applicable and computationally feasible methods for robust Bayesian inference under misspecification has proven to be a difficult challenge. An intriguing, easy-to-use, and widely applicable approach is to use bagging on the Bayesian posterior ("BayesBag"); that is, to use the average of posterior distributions conditioned on bootstrapped datasets. In this paper, we develop the asymptotic theory of BayesBag, propose a model-data mismatch index for model criticism using BayesBag, and empirically validate our theory and methodology on synthetic and real-world data in linear regression, sparse logistic regression, and a hierarchical mixed effects model. We find that in the presence of significant misspecification, BayesBag yields more reproducible inferences and has better predictive accuracy than the standard Bayesian posterior; on the other hand, when the model is correctly specified, BayesBag produces superior or equally good results. Overall, our results demonstrate that BayesBag combines the attractive modeling features of standard Bayesian inference with the distributional robustness properties of frequentist methods, providing benefits over both Bayes alone and the bootstrap alone.

研究动机与目标

• 为解决标准贝叶斯推断对模型误设的已知敏感性问题，该问题常导致不确定性量化不可靠及预测性能低下。
• 开发一种通用、计算可行的鲁棒贝叶斯推断方法，在保留贝叶斯方法建模灵活性的同时，融入频繁学派方法的分布鲁棒性。
• 提供一种诊断工具——基于后验方差差异的不匹配指数，用于量化模型-数据不匹配，实现无需外部验证数据的模型批评。
• 在正则条件下建立 BayesBag 的渐近理论，将其行为与 Bernstein–von Mises 定理及频繁学派性质相联系。
• 通过实证验证 BayesBag 在预测准确性、可重复性与鲁棒性方面的优势，涵盖多种统计模型，包括误设情形。

提出的方法

• BayesBag 将打包后验定义为从自 resampling 数据集获得的标准后验分布的平均值：$\pi^{*}(\theta|x) \approx \frac{1}{B}\sum_{b=1}^{B}\pi(\theta|x^{*}_{(b)})$，其中 $x^{*}_{(b)}$ 是从原始数据中以放回方式抽取的大小为 $M$ 的自 resampling 样本。
• 该方法利用标准的贝叶斯后验计算工具，使其广泛适用于层次模型、指数族分布以及适用于 MCMC 或变分推断的模型。
• 基于打包后验方差与标准后验方差之比，提出一种模型-数据不匹配指数，并与正确模型设定下的期望值进行比较。
• 该不匹配指数在理论上基于后验方差的渐近行为，并通过 Bernstein–von Mises 定理进行校准，从而通过方差膨胀实现误设检测。
• 为保守推断，自 resampling 样本大小 $M$ 设为 $N$（原始样本大小），但当后验近似正态时，也可采用数据驱动的选择如 $\hat{M}_{\infty,\text{opt}}$。
• 通过在自 resampling 样本上并行化后验计算，提升计算效率，并通过 $B$ 的蒙特卡洛误差界验证近似收敛性。

实验结果

研究问题

• RQ1 在模型误设情况下，BayesBag 相较于标准贝叶斯方法，如何改进后验推断？
• RQ2 当模型误设时，打包后验是否能提供比标准后验更优的预测准确性和不确定性校准？
• RQ3 在正则条件下，BayesBag 的渐近行为有何理论依据？
• RQ4 如何利用打包后验诊断模型-数据不匹配？所提出的不匹配指数的统计基础是什么？
• RQ5 BayesBag 是否在保持贝叶斯推断优势（如先验整合与层次建模）的同时，获得来自自助法的鲁棒性？

主要发现

• 在存在显著模型误设时，BayesBag 相较于标准贝叶斯后验推断，能产生更具可重复性的推断结果，并实现更优的预测准确性。
• 当模型正确设定时，BayesBag 的结果与标准贝叶斯推断相比，或更优或相当，表明在正确设定下无性能退化。
• 所提出的模型-数据不匹配指数能有效检测误设，通过测量打包后验方差相对于标准后验方差的膨胀程度，数值越高表示不匹配程度越大。
• 渐近理论表明，即使在模型误设下，BayesBag 仍收敛于以真实参数为中心的分布，其方差能同时反映模型不确定性与抽样变异性。
• 该方法在计算上可行且可扩展，通过并行化自 resampling 样本上的后验计算实现，通常 $B=50$ 到 $100$ 即可实现稳定近似。
• BayesBag 有效整合了贝叶斯建模的优势（如先验整合、层次结构）与频繁学派方法的鲁棒性，在关键方面优于纯贝叶斯与纯自助法方法。