[论文解读] Safe-Bayesian Generalized Linear Regression

Rianne de Heide, Alisa Kirichenko+2 more|arXiv (Cornell University)|Oct 21, 2019

Statistical Methods and Inference参考文献 34被引用 18

一句话总结

该论文提出Safe-Bayesian广义线性回归，通过使用学习率η < 1来在模型误设条件下稳定贝叶斯推断。证明了对于具有指数尾部响应分布的广义线性模型，该方法会集中在最佳近似模型附近，并通过MCMC采样器和真实世界数据表明，在模型误设条件下，其预测精度显著优于标准贝叶斯方法。

ABSTRACT

We study generalized Bayesian inference under misspecification, i.e. when the model is 'wrong but useful'. Generalized Bayes equips the likelihood with a learning rate $η$. We show that for generalized linear models (GLMs), $η$-generalized Bayes concentrates around the best approximation of the truth within the model for specific $η eq 1$, even under severely misspecified noise, as long as the tails of the true distribution are exponential. We derive MCMC samplers for generalized Bayesian lasso and logistic regression and give examples of both simulated and real-world data in which generalized Bayes substantially outperforms standard Bayes.

研究动机与目标

• 为解决标准贝叶斯推断在模型误设条件下，尤其是在高维或严重误设设置下的失效问题。
• 将Safe-Bayesian框架——此前在岭回归和模型选择中已被证明有效——扩展至广义线性模型（GLMs）。
• 通过实证结果表明，最优η下的广义贝叶斯方法在模拟数据和真实世界数据（包括套索回归和逻辑回归）上均优于标准贝叶斯方法。
• 建立理论条件，证明在广义线性模型中，即使存在严重的噪声误设，广义贝叶斯方法仍会集中在真实分布在模型上的KL投影附近。
• 为套索回归和逻辑回归中的广义贝叶斯后验抽样开发实用的MCMC算法。

提出的方法

• 通过引入学习率η < 1，采用广义贝叶斯推断，将似然函数修改为p(y|x,θ)^η以正则化后验集中度。
• 应用Safe-Bayesian算法从数据中学习最优η，通过在η ∈ {1, 0.9, ..., 0.5}上进行网格搜索，并选择最小化预测风险的η。
• 为贝叶斯套索回归和逻辑回归中的广义后验抽样推导出MCMC采样器，以实现实际应用。
• 理论分析表明，在\bar{\eta}-中心条件下，η < \bar{\eta}的广义贝叶斯方法会集中在真实分布在模型上的KL投影附近。
• 证明了当响应变量具有指数衰减尾部时，GLM满足中心条件，这在分类和许多回归设置中均成立。
• 使用蒙特卡洛估计预测方差和均方误差，以比较标准贝叶斯与广义贝叶斯方法的性能。

实验结果

研究问题

• RQ1 在模型误设的广义线性模型（包括套索回归和逻辑回归）中，使用η < 1的广义贝叶斯推断是否能优于标准贝叶斯方法？
• RQ2 在合理假设下（如响应分布具有指数衰减尾部），GLM是否满足\bar{\eta}-中心条件？
• RQ3 使用数据驱动的η选择的Safe-Bayesian学习是否能在真实世界数据集中持续实现性能提升，优于标准贝叶斯方法？
• RQ4 在误设条件下，如套索或正态逆高斯（Horseshoe）等诱导稀疏性的先验是否失效？使用η < 1的广义贝叶斯方法能否恢复鲁棒性？
• RQ5 能否为GLM中的广义后验分布有效构建MCMC采样器，以实现实际部署？

主要发现

• 在具有误设噪声的模拟数据中，使用η = 0.5的Safe-Bayesian套索回归相比标准贝叶斯套索回归（η = 1）实现了显著更低的均方误差，即使在p = 100个预测变量的情况下也成立。
• 在西雅图天气数据上，Safe-Bayesian套索回归和Horseshoe在10次运行中始终优于标准贝叶斯方法，且Safe-Bayesian方法从未选择η = 1。
• 在伦敦空气质量污染数据上，使用学习到的η的Safe-Bayesian套索回归在20次运行中均优于标准贝叶斯方法，表现出对时间序列和数据分布变化的鲁棒性。
• 在逻辑回归实验中，η = 3的广义贝叶斯方法相比标准贝叶斯方法（η = 1）在样本量增加时表现出更优的预测性能。
• 理论结果证实，当响应分布具有指数衰减尾部时，GLM满足\bar{\eta}-中心条件，这包括所有有界响应变量（如分类问题中的情况）。
• Safe-Bayesian算法在所有数据集和先验下均一致选择η < 1，表明在模型误设条件下标准贝叶斯方法表现次优。