[论文解读] Polya-Gamma Data Augmentation for Dynamic Models

Jesse Windle, Carlos M. Carvalho+2 more|arXiv (Cornell University)|Aug 4, 2013

Bayesian Methods and Mixture Models被引用 1

一句话总结

本文提出一种新颖的后验模拟方法——Polya-Gamma数据增强，用于动态广义线性模型（如动态逻辑斯蒂回归和负二项回归）的后验推断，该方法在传统闭式解失效时仍能有效工作。该方法在小计数规模和二值结果下尤为高效准确，在基准评估中优于现有方法。

ABSTRACT

Dynamic linear models with Gaussian observations and Gaussian states lead to closed-form formulas for posterior simulation. However, these closed-form formulas break down when the response or state evolution ceases to be Gaussian. Dynamic, generalized linear models exemplify a class of models for which this is the case, and include, amongst other models, dynamic binomial logistic regression and dynamic negative binomial regression. Finding and appraising posterior simulation techniques for these models is important since modeling temporally correlated categories or counts is useful in a variety of disciplines, including ecology, economics, epidemiology, medicine, and neuroscience. In this paper, we present one such technique, Polya-Gamma data augmentation, and compare it against two competing methods. We find that the Polya-Gamma approach works well for dynamic logistic regression and for dynamic negative binomial regression when the count sizes are small. Supplementary files are provided for replicating the benchmarks.

研究动机与目标

• 解决在高斯假设不成立时，动态广义线性模型缺乏高效后验模拟技术的问题。
• 为流行病学和神经科学等学科中时间相关联的二值和计数结果建模，开发一种可扩展且稳健的方法。
• 评估Polya-Gamma数据增强方法在动态逻辑斯蒂回归与负二项回归设置下，相较于现有方法的性能表现。
• 通过补充材料提供可复现的基准框架，以支持方法论的验证。

提出的方法

• 本文采用Polya-Gamma数据增强方法，引入潜变量将二值或计数响应与高斯过程随机关联，从而实现共轭后验更新。
• 将原本用于静态广义线性模型的Polya-Gamma辅助变量方法扩展至具有时变回归系数的动态设置。
• 通过引入潜变量使似然条件高斯化，从而在增强模型中实现吉布斯采样，同时保持共轭性。
• 该方法被应用于动态二项逻辑斯蒂回归与动态负二项回归，通过吉布斯采样实现后验模拟，并利用全条件分布进行推断。
• 通过利用Polya-Gamma潜变量带来的条件共轭性，保持了计算效率。
• 补充材料提供了代码与数据，用于在不同模拟场景下复现基准比较。

实验结果

研究问题

• RQ1 与现有后验模拟技术相比，Polya-Gamma数据增强在动态逻辑斯蒂回归中的表现如何？
• RQ2 Polya-Gamma增强能否有效处理小计数规模的动态负二项回归？
• RQ3 在建模时间相关联的二值与计数数据时，Polya-Gamma增强相对于竞争方法的相对效率与准确性如何？
• RQ4 该方法在状态空间模型中面对多样的时间相关结构时，是否保持稳定性和收敛性？

主要发现

• Polya-Gamma数据增强在动态逻辑斯蒂回归中提供了准确且高效的后验模拟，尤其在响应变量为二值时表现优异。
• 该方法在动态负二项回归中表现强劲，尤其在计数规模较小时更为突出。
• 相较于竞争方法，Polya-Gamma增强在逻辑斯蒂与计数模型的MCMC采样中实现了更快的收敛速度与更优的混合性能。
• 补充的基准测试框架验证了该方法在多种模拟设置下的可靠性与可复现性。