[论文解读] Stochastic Structured Mean-Field Variational Inference.

Matthew D. Hoffman|arXiv (Cornell University)|Apr 16, 2014

Gaussian Processes and Bayesian Inference参考文献 15被引用 3

一句话总结

本文提出了一种随机结构化均值场变分推断方法，通过建模全局参数与局部隐变量之间的任意依赖关系，放宽了严格的均值场假设。通过将结构化变分近似融入随机变分推断，该方法降低了近似偏差，并提升了大规模贝叶斯模型的收敛鲁棒性。

ABSTRACT

Stochastic variational inference makes it possible to approximate posterior distributions induced by large datasets quickly. The algorithm relies heav-ily on the use of fully factorized variational dis-tributions. However, this “mean-field ” indepen-dence approximation introduces bias. We show how to relax the mean-field approximation to al-low arbitrary dependences between global pa-rameters and local hidden variables, reducing both bias and sensitivity to local optima. 1

研究动机与目标

• 解决随机变分推断中完全因子化（均值场）近似引入的偏差问题。
• 在大规模模型中实现全局参数与局部隐变量之间灵活的结构化依赖关系。
• 降低后验近似对局部最优解的敏感性。
• 在提升后验近似质量的同时保持计算效率。

提出的方法

• 提出一种结构化变分族，显式建模全局参数与局部隐变量之间的依赖关系。
• 将随机变分推断适配至非因子化变分分布，利用随机优化实现。
• 采用重参数化技巧，实现对变分参数的基于梯度的优化。
• 使用证据下界（ELBO）的蒙特卡洛近似，实现大规模数据集上的可扩展优化。
• 引入一种灵活的参数化形式作为变分分布，以捕捉复杂的条件依赖关系。
• 应用随机梯度下降优化ELBO，使用数据的小批量进行训练。

实验结果

研究问题

• RQ1 与均值场方法相比，建模全局参数与局部变量之间的结构化依赖关系是否能减少后验近似的偏差？
• RQ2 该方法在大规模数据集上的收敛稳定性与近似质量表现如何？
• RQ3 放宽均值场假设在多大程度上改善了ELBO和模型拟合度？
• RQ4 该方法是否能在捕捉复杂后验依赖关系的同时保持计算效率？

主要发现

• 与标准均值场变分推断相比，结构化变分近似显著降低了偏差。
• 该方法在后验估计中表现出更优的收敛行为，并降低了对局部最优解的敏感性。
• 通过建模全局变量与局部变量之间的依赖关系，该方法在边缘似然的下界上取得了更紧的界限。
• 通过随机优化，该算法保持了可扩展性，能够应用于大规模数据集。