[论文解读] Stochastic gradient variational Bayes for gamma approximating distributions

David A. Knowles|arXiv (Cornell University)|Sep 4, 2015

Statistical Methods and Inference参考文献 23被引用 39

一句话总结

本文提出针对伽马分布潜变量的随机梯度变分贝叶斯（SGVB）方法，利用重参数化梯度，实现了在具有稀疏性和非负性约束的模型中高效、可扩展的贝叶斯推断。该方法在伽马过程模型和稀疏因子分析中，相较于高斯近似和采样方法表现更优，尤其在小样本情形下优势显著。

ABSTRACT

While stochastic variational inference is relatively well known for scaling inference in Bayesian probabilistic models, related methods also offer ways to circumnavigate the approximation of analytically intractable expectations. The key challenge in either setting is controlling the variance of gradient estimates: recent work has shown that for continuous latent variables, particularly multivariate Gaussians, this can be achieved by using the gradient of the log posterior. In this paper we apply the same idea to gamma distributed latent variables given gamma variational distributions, enabling straightforward "black box" variational inference in models where sparsity and non-negativity are appropriate. We demonstrate the method on a recently proposed gamma process model for network data, as well as a novel sparse factor analysis. We outperform generic sampling algorithms and the approach of using Gaussian variational distributions on transformed variables.

研究动机与目标

• 将随机梯度变分贝叶斯（SGVB）框架从高斯潜变量扩展至伽马分布潜变量，以实现在需要稀疏性和非负性约束的模型中的高效推断。
• 解决在非高斯连续潜变量的蒙特卡洛变分推断中梯度估计方差过高的挑战。
• 证明在使用共轭指数族先验与似然函数的模型中，伽马变分近似方法的有效性。
• 表明显式建模伽马后验分布相比将变量变换至高斯空间，能显著提升推断性能。
• 仅通过对数联合概率梯度，实现复杂模型（如伽马过程因子分析和网络模型）的可扩展、黑箱推断。

提出的方法

• 通过利用伽马分布的位置-尺度族性质，推导出适用于伽马分布潜变量的重参数化技巧，将SGVB框架适配至伽马分布潜变量。
• 使用对数后验联合概率的梯度作为关键估计量，通过蒙特卡洛采样实现低方差的随机梯度更新。
• 采用识别模型将观测数据映射至伽马变分后验的参数，支持端到端训练。
• 利用重参数化技巧推导证据下界（ELBO）及其梯度，实现通过随机节点的反向传播。
• 将该方法应用于两个模型：用于网络数据的无限边划分模型，以及一种新型的伽马过程因子分析（GPFA）模型。
• 采用自适应优化（Adadelta）和高效的向量化运算，实现对大规模数据集的可扩展处理，且GPFA中运行时间与样本量N无关。

实验结果

研究问题

• RQ1 鉴于伽马分布潜变量具有非共轭性和非高斯性，SGVB框架能否成功扩展至此类变量？
• RQ2 与将变量变换至高斯空间后的高斯近似相比，使用伽马变分后验是否在推断准确性和可扩展性方面表现更优？
• RQ3 该方法能否处理非共轭似然模型，同时仍实现有效的后验近似？
• RQ4 在小样本情形下，伽马SGVB方法与MCMC采样及其他变分方法相比性能如何？
• RQ5 该方法能否有效应用于具有稀疏性和非负性约束的真实世界高维数据（如CyTOF数据）？

主要发现

• GPFA在重建因子载荷方面优于SPCA和NSFA，在合成数据上显著降低了Amari误差，证明了显式伽马建模的优势。
• 在包含N = 5.3×10⁵个细胞和D = 40种蛋白的CyTOF数据上，GPFA在测试数据上的困惑度为12.8，优于经验协方差矩阵和Ledoit-Wolfe收缩估计法（当N < 2000时）。
• 在小样本情形下，GPFA的似然估计优于经验协方差矩阵（其困惑度为-10¹²，表明存在数值不稳定性），显示出在小样本环境下的鲁棒性。
• GPFA的运行时间约为10秒（在标准笔记本电脑上），且与N无关；而SPCA的运行时间随N线性增长，表明GPFA在大规模数据下更具效率。
• GPFA估计的协方差矩阵有效正则化了非对角线成分，并捕捉了生物结构，其因子载荷具有可解释的非负性。
• 该方法实现了无需模型特异性推导的黑箱、可扩展推断，仅需对数联合概率梯度，因此可广泛适用于各类基于伽马分布的模型。