[论文解读] Robust and reproducible model selection using bagged posteriors

Jonathan H. Huggins, Jeffrey W. Miller|arXiv (Cornell University)|Jul 24, 2020

Bayesian Methods and Mixture Models参考文献 20被引用 4

一句话总结

本文提出 BayesBag，一种稳健的模型选择方法，通过在自助抽样数据集上对后验模型概率进行平均，改进了贝叶斯模型选择。在模型误设情况下，BayesBag 提升了模型选择的可重复性和准确性，而在模型正确设定时则略为保守。

ABSTRACT

Bayesian model selection is premised on the assumption that the data are
 generated from one of the postulated models, however, in many applications, all of
 these models are incorrect. When two or more models provide a nearly equally good
 t to the data, Bayesian model selection can be highly unstable, potentially leading
 to self-contradictory ndings. In this paper, we explore using bagging on the posterior
 distribution (\\BayesBag") when performing model selection { that is, averaging the
 posterior model probabilities over many bootstrapped datasets. We provide theoreti-
 cal results characterizing the asymptotic behavior of the standard posterior and the
 BayesBag posterior under misspeci cation, in the model selection setting. We empir-
 ically assess the BayesBag approach on synthetic and real-world data in (i) feature
 selection for linear regression and (ii) phylogenetic tree reconstruction. Our theory
 and experiments show that in the presence of misspeci cation, BayesBag provides
 (a) greater reproducibility and (b) greater accuracy in selecting the correct model,
 compared to the standard Bayesian posterior; on the other hand, under correct speci-
 cation, BayesBag is slightly more conservative than the standard posterior. Overall,
 our results demonstrate that BayesBag provides an easy-to-use and widely applicable
 approach that improves upon standard Bayesian model selection by making it more
 stable and reproducible.

研究动机与目标

• 解决标准贝叶斯模型选择在多个模型几乎同样拟合数据时的不稳定性问题。
• 在模型误设情况下提升模型选择的可重复性。
• 开发一种实用且广泛适用的方法，增强稳定性而不牺牲准确性。
• 理论上刻画标准后验与打包后验在误设条件下的渐近行为。
• 在特征选择和系统发育树重建任务中实证验证 BayesBag。

提出的方法

• 通过从原始数据生成多个自助抽样数据集，对后验分布应用袋装（bagging）方法。
• 为每个自助抽样数据集计算后验模型概率。
• 将所有自助抽样数据集的后验模型概率进行平均，形成 BayesBag 后验。
• 理论分析推导了在模型误设条件下标准后验与 BayesBag 后验的渐近行为。
• 在线性回归和系统发育树选择任务中，基于合成数据和真实世界数据对 BayesBag 进行实证评估。
• 将平均后的后验概率作为最终的模型选择标准。

实验结果

研究问题

• RQ1 在模型误设条件下，标准贝叶斯后验在模型选择中的表现如何？
• RQ2 对后验进行袋装能否提升模型选择结果的可重复性？
• RQ3 当所有候选模型均误设时，BayesBag 是否能提升正确模型的选择准确性？
• RQ4 与标准贝叶斯模型选择相比，BayesBag 在稳定性和性能方面表现如何？
• RQ5 在误设条件下，BayesBag 后验的理论渐近行为是什么？

主要发现

• 当模型误设时，BayesBag 显著提升了模型选择结果的可重复性。
• 与标准贝叶斯后验相比，BayesBag 在模型误设条件下提高了正确模型的选择准确性。
• 在模型正确设定时，BayesBag 比标准后验略为保守。
• 理论分析证实，BayesBag 在模型误设条件下能稳定后验模型概率。
• 在特征选择和系统发育树重建任务中的实证结果表明，BayesBag 在稳定性和准确性方面均表现出一致的改进。
• BayesBag 为标准贝叶斯模型选择提供了一种实用且易于实现的增强方法。