[论文解读] Variational inference for count response semiparametric regression

Jan Luts, M. P. Wand|arXiv (Cornell University)|Sep 17, 2013

Bayesian Methods and Mixture Models参考文献 12被引用 4

一句话总结

本文针对计数响应的贝叶斯半参数回归模型，基于泊松分布和负二项分布，开发了快速、可扩展的变分推断算法。通过利用非共轭变分消息传递，该方法实现了具有惩罚样条的广义可加混合模型的实时拟合，在保持精度的同时，显著加速了传统MCMC的推断过程。

ABSTRACT

Fast variational approximate algorithms are developed for Bayesian semiparametric regression when the response variable is a count, i.e. a non-negative integer. We treat both the Poisson and Negative Binomial families as models for the response variable. Our approach utilizes recently developed methodology known as non-conjugate variational message passing. For concreteness, we focus on generalized additive mixed models, although our variational approximation approach extends to a wide class of semiparametric regression models such as those containing interactions and elaborate random effect structure.

研究动机与目标

• 为计数响应半参数回归模型缺乏高效的近似贝叶斯推断方法提供解决方案。
• 将均场变分贝叶斯方法扩展至非共轭似然分布，如泊松分布和负二项分布。
• 通过用计算高效的变分近似替代计算密集的MCMC，实现在半参数回归中对实时和高速数据流的分析。
• 在可扩展的贝叶斯框架内，支持包含惩罚样条和复杂随机效应结构的复杂模型。

提出的方法

• 利用非共轭变分消息传递（NC-VMP）处理贝叶斯半参数模型中的非共轭似然。
• 应用均场变分贝叶斯（MFVB）近似潜变量和超参数的后部分布。
• 采用分层先验结构，对精度参数使用条件共轭先验，对平滑参数使用半柯西先验。
• 通过充分统计量和对数分区函数的期望，推导出变分参数的闭式更新。
• 通过泊松分布和负二项分布似然建模计数响应，后者以泊松-伽马混合形式表示。
• 实施变分参数的迭代坐标上升更新，包括回归系数和随机效应的均值与协方差。

实验结果

研究问题

• RQ1 非共轭变分消息传递能否在半参数回归的泊松和负二项分布响应模型中有效应用？
• RQ2 均场变分贝叶斯方法如何适应处理具有计数数据的广义可加混合模型中的非共轭似然？
• RQ3 与MCMC相比，该方法在高容量或流式数据环境下的计算与统计性能如何？
• RQ4 该方法能否高效扩展至包含惩罚样条和复杂随机效应结构的模型？

主要发现

• 所提出的变分推断框架实现了计数响应半参数回归的快速、可扩展后验近似，适用于实时和流式数据处理。
• 该方法在保持与MCMC相当的后验估计精度的同时，实现了显著的速度提升，适用于泊松和负二项分布模型。
• 通过充分统计量和对数分区函数的期望，推导出变分参数的闭式更新，实现了高效的计算。
• 该方法通过统一的变分消息传递框架，成功处理了包含惩罚样条和结构化随机效应的复杂模型。