[论文解读] Variational Gaussian Copula Inference

Shaobo Han, Xuejun Liao+2 more|arXiv (Cornell University)|Jun 19, 2015

Bayesian Methods and Mixture Models参考文献 35被引用 5

一句话总结

本文提出了一种变分高斯图嵌入推断框架，将后验近似解耦为通过高斯图嵌入建模依赖结构，以及使用伯恩斯坦多项式进行灵活的非参数单变量边缘分布建模。通过利用斯克瓦尔定理和随机优化，该方法在非共轭层次模型中实现了精确且自动化的后验近似，在高斯回归和泊松回归任务中，ELBO 和后验保真度方面均优于均值场方法和变分高斯方法。

ABSTRACT

We utilize copulas to constitute a unified framework for constructing and optimizing variational proposals in hierarchical Bayesian models. For models with continuous and non-Gaussian hidden variables, we propose a semiparametric and automated variational Gaussian copula approach, in which the parametric Gaussian copula family is able to preserve multivariate posterior dependence, and the nonparametric transformations based on Bernstein polynomials provide ample flexibility in characterizing the univariate marginal posteriors.

研究动机与目标

• 为解决现有变分推断方法在同时捕捉复杂后验依赖关系、偏度、多峰性及非高斯边缘分布方面的局限性。
• 为具有连续非高斯潜变量的层次贝叶斯模型，开发统一且自动化的变分推断框架。
• 将后验近似解耦为依赖结构建模（通过图嵌入）与边缘分布建模（通过非参数变换），以实现灵活且可解释的推断。
• 在最小化模型特异性推导的前提下，实现黑箱变分推断，同时保持多变量依赖结构与复杂边缘形状。
• 为具有非共轭似然的潜高斯模型，提供一种可扩展且可计算的 MCMC 和 INLA 替代方案。

提出的方法

• 该方法利用斯克瓦尔定理，将变分后验表示为图嵌入密度与单变量边缘密度的乘积，从而实现依赖结构与边缘结构的分离。
• 采用高斯图嵌入族来建模多变量后验依赖关系，其参数通过随机变分推断进行优化。
• 使用伯恩斯坦多项式对非参数单变量边缘进行建模，可对任意边缘后验提供灵活且平滑的近似，且无需共轭先验。
• 联合变分密度构造为 $ q_{\text{VC}}(\boldsymbol{x}) = c_{\boldsymbol{\Theta}}(F_1(x_1), \dots, F_p(x_p)) \prod_{j=1}^p f_j(x_j) $，其中 $ F_j $ 为累积分布函数，$ c_{\boldsymbol{\Theta}} $ 为图嵌入密度。
• 采用随机优化以最大化证据下界（ELBO），梯度通过重参数化与自动微分计算。
• 该方法实现为 VGC-BP（伯恩斯坦多项式）与 VGC-LN（对数正态），其中 VGC-BP 在 ELBO 与后验精度方面表现更优。

实验结果

研究问题

• RQ1 基于图嵌入的变分推断框架是否能同时在层次贝叶斯模型中对复杂后验依赖关系与灵活的非高斯单变量边缘分布进行建模？
• RQ2 使用伯恩斯坦多项式进行非参数边缘估计，相较于参数化或均值场方法，如何提升后验近似效果？
• RQ3 高斯图嵌入在非高斯后验中能在多大程度上保持多变量依赖结构？与更复杂的图嵌入族相比表现如何？
• RQ4 所提方法是否能在极少模型特异性推导下实现具有竞争力的 ELBO 与后验精度，从而支持黑箱推断？
• RQ5 在具有复杂后验的非共轭模型中，该变分图嵌入方法与 MCMC 和 INLA 相比性能如何？

主要发现

• 在高斯混合模型上，VGC-BP 方法实现了 0.3277 的 ELBO，显著优于 MFVB（-1.0778）与 VGC-LN-diag（-1.2399）。
• 在泊松对数线性回归任务中，VGC-BP 生成的边缘与成对后验分布与 MCMC 参考解高度一致，表现出高精度。
• 该方法成功捕捉了后验中的非高斯特征，如偏度与多峰性，即使在后验未知精确解的非共轭模型中亦然。
• 伯恩斯坦多项式的使用实现了灵活的非参数边缘估计，无需共轭先验或对参数空间进行离散化。
• 变分图嵌入框架提供了具有解析图嵌入与灵活边缘的闭式后验近似，支持快速后验模拟，并可作为 MCMC 中的提议分布。
• 该方法在多种模型中表现出可扩展性与鲁棒性，包括重尾与偏态后验，且无需进行问题特异性推导。