[论文解读] Variational Bayesian inference for linear and logistic regression

Jan Drugowitsch|arXiv (Cornell University)|Oct 21, 2013

Gaussian Processes and Bayesian Inference参考文献 12被引用 54

一句话总结

本文提出了一种用于线性回归和逻辑回归的变分贝叶斯推断框架，结合自动相关性确定（ARD），支持回归系数和超参数的层次化建模。通过使用共轭先验（正态-逆伽马先验和伽马超先验），推导出闭式变分更新，联合推断系数后验与超参数后验，实现通过变分下界进行模型选择，无需交叉验证。

ABSTRACT

The article describe the model, derivation, and implementation of variational Bayesian inference for linear and logistic regression, both with and without automatic relevance determination. It has the dual function of acting as a tutorial for the derivation of variational Bayesian inference for simple models, as well as documenting, and providing brief examples for the MATLAB/Octave functions that implement this inference. These functions are freely available online.

研究动机与目标

• 提供具有层次化先验的简单回归模型变分贝叶斯推断的教程式推导。
• 实现一种可扩展的、完全贝叶斯的线性与逻辑回归推断方法，包含自动相关性确定（ARD）。
• 通过最大化变分下界实现模型选择，避免对独立验证集的需求。
• 通过提供推断算法的文档化MATLAB/Octave实现，弥合理论与实践的差距。
• 通过变分近似联合推断超参数与系数后验，而非采用类型-II最大似然法，扩展标准贝叶斯回归。

提出的方法

• 在回归系数和精度上使用共轭正态-逆伽马先验，对精度使用伽马超先验，对ARD超参数α使用伽马超先验。
• 通过平均场近似，推导权重w、精度τ和超参数α的变分后验近似。
• 采用基于变分下界坐标上升法推导的闭式更新方程，更新w、τ和α的变分参数。
• 通过拉普拉斯近似处理似然函数，将同一框架应用于逻辑回归，实现在非共轭情况下的变分推断。
• 将变分下界用作模型证据的代理，用于在不同多项式阶次之间进行贝叶斯模型选择。
• 在VBLinLogit MATLAB/Octave库中实现算法，包含拟合、预测和模型比较的函数。

实验结果

研究问题

• RQ1 如何系统性地推导并实现带有自动相关性确定的线性与逻辑回归的变分贝叶斯推断？
• RQ2 变分下界能否作为无需验证集的回归模型选择的有效准则？
• RQ3 在回归系数上引入层次化超先验，如何影响系数收缩与模型复杂度选择？
• RQ4 与Fisher线性判别等经典方法相比，ARD在逻辑回归中变分推断的性能如何？
• RQ5 在多项式分类任务中，所提出的推断算法在预测准确率与泛化能力方面表现如何？

主要发现

• 在模型选择示例中，变分下界在真实多项式阶次（k=2）处达到峰值，无需交叉验证即可正确识别模型复杂度。
• 带有ARD的贝叶斯模型选择的最优多项式阶次为k=3，表明其具有有效的正则化能力并避免了过拟合。
• 变分贝叶斯分类器在测试集上的误差为18.33%，低于Fisher线性判别法的19.00%，表明其在后者模型复杂度更高的情况下仍具有更好的泛化能力。
• 即使在存在噪声的情况下，变分贝叶斯模型预测的类别概率仍与真实概率高度一致。
• 通过ARD成功剔除了无关系数，表现为α的后验分布倾向于较小的系数方差。
• VBLinLogit库中的MATLAB/Octave实现支持高效且可复现的推断，提供拟合、预测和模型比较的函数。