[论文解读] Predictive variational inference for flexible regression models

Lucas Kock, Scott A. Sisson+2 more|arXiv (Cornell University)|Feb 26, 2026

Gaussian Processes and Bayesian Inference被引用 0

一句话总结

简要结论：本论文提出高斯混合预测变分推断（GM-PVI）及其协变量依赖扩展（VGM-PVI），用于灵活回归模型，将 GM-PVI 与混合专家预测联系起来，并在存在模型 misspecification 时利用协变量变化的后验分布提升预测性能和模型诊断。

ABSTRACT

A conventional Bayesian approach to prediction uses the posterior distribution to integrate out parameters in a density for unobserved data conditional on the observed data and parameters. When the true posterior is intractable, it is replaced by an approximation; here we focus on variational approximations. Recent work has explored methods that learn posteriors optimized for predictive accuracy under a chosen scoring rule, while regularizing toward the prior or conventional posterior. Our work builds on an existing predictive variational inference (PVI) framework that improves prediction, but also diagnoses model deficiencies through implicit model expansion. In models where the sampling density depends on the parameters through a linear predictor, we improve the interpretability of existing PVI methods as a diagnostic tool. This is achieved by adopting PVI posteriors of Gaussian mixture form (GM-PVI) and establishing connections with plug-in prediction for mixture-of-experts models. We make three main contributions. First, we show that GM-PVI prediction is equivalent to plug-in prediction for certain mixture-of-experts models with covariate-independent weights in generalized linear models and hierarchical extensions of them. Second, we extend standard PVI by allowing GM-PVI posteriors to vary with the prediction covariate and in this case an equivalence to plug-in prediction for mixtures of experts with covariate-dependent weights is established. Third, we demonstrate the diagnostic value of this approach across several examples, including generalized linear models, linear mixed models, and latent Gaussian process models, demonstrating how the parameters of the original model must vary across the covariate space to achieve improvements in prediction.

研究动机与目标

• 在模型错配下通过预测变分推断（PVI）提升预测准确性。
• 引入用于回归模型的高斯混合 PVI（GM-PVI）后验分布，并证明对预测密度的作用可简化为对混合专家模型的插件预测。
• 将 PVI 扩展为允许 GM-PVI 后验随预测协变量变化（VGM-PVI），从而实现协变量相关权重并增强模型批评。
• 通过考察在不同协变量下模型参数需如何变化以提升预测来提供对模型缺陷的诊断性洞见。
• 在广义线性模型、线性混合模型和潜在高斯过程模型中演示该方法的应用。

提出的方法

• 将 GM-PVI 后验定义为高斯混合形式 qλ(θ)=∑kωk N(θ;μk,Σk)。
• 推导 GLM 的 qλ(ỹ|x̃) 为预测密度的混合体，从而在存在异方差回归分量时实现插件预测。
• 建立 GM-PVI 的预测与对协变量独立权重的混合专家模型之间的等价性，并扩展到协变量相关权重（VGM-PVI）。
• 通过允许混合权重随预测协变量 x̃ 而改变（omega_k(x̃)=exp(x̃⊤ηk)/∑l exp(x̃⊤ηl) 的软最大），并基于对协变量的平均 PVI 后验值定义正则化项来引入 VGM-PVI。
• 将优化目标（预测评分 + KL 正则化）形式化，并通过带有解析或数值积分的梯度上升（Adam）来计算 λ。
• 使用 Gauss-Hermite 求积来在 GLM 中评估积分，从而实现对常见连接函数的近似封闭形式更新。
• 提供一个实用的混合组件选择启发式方法（初始 K 最多为 10；移除权重极小的分量）。

实验结果

研究问题

• RQ1 GM-PVI 如何与协变量独立权重的混合专家模型的插件预测相关？
• RQ2 GM-PVI 如何扩展为协变量相关权重（VGM-PVI），并且得到的等价性如何映射到协变量相关权重的专家混合模型？
• RQ3 VGM-PVI 能否作为诊断工具，识别原回归模型在何处需随协变量变化以提升预测？
• RQ4 在广义线性模型、线性混合模型和潜在高斯过程模型中，GM-PVI 与 VGM-PVI 在预测准确性和模型批评方面的表现如何？

主要发现

FPR	VGM-PVI (β=0.01)	VGM-PVI (β=0.5)	VGM-PVI (β=1.0)	VGM-PVI (β=100)	Posterior predictive
0.01	0.3185	0.2520	0.2043	0.0827	0.0775
0.02	0.4029	0.3549	0.3182	0.1717	0.1700
0.05	0.5787	0.5518	0.5161	0.3295	0.3194
0.10	0.7396	0.6993	0.6964	0.5173	0.5115
0.20	0.8940	0.8422	0.8501	0.7350	0.7271

• 在 GLM 中，若权重对协变量独立，GM-PVI 的预测与某些混合专家模型的插件预测一致。
• 允许 GM-PVI 随预测协变量变化（VGM-PVI）可等价于权重对协变量相关的混合专家模型，并在错配模型下提升预测效用。
• 在逻辑回归、伽马望远镜以及 AIDS Poisson 计数等设置中，VGM-PVI 相对于传统后验预测提供显著的预测改进，并提供关于参数应如何随协变量变化的诊断性洞见。
• Gamma telescope 研究表明，在低错误率阈值下使用 VGM-PVI 与较小β（如 β=0.01）相比标准后验预测，TPR 可提升最多约 4 倍（FPR=0.01 时）。
• 在仿真和真实数据示例中，通过 WAIC 或贝叶斯优化调节惩罚项 β，发现一个较小的 β 能带来比传统后验预测更好的预测性能。
• 在各个示例中，VGM-PVI 展示了协变量变化的混合权重如何捕捉简单 GLM 无法捕捉的依赖性和跨特征交互作用。