[论文解读] Stochastic Variational Inference

Matt Hoffman, David M. Blei+2 more|arXiv (Cornell University)|Jun 29, 2012

Bayesian Methods and Mixture Models参考文献 99被引用 27

一句话总结

本文提出随机变分推断（SVI），一种在大规模概率模型中进行近似贝叶斯推断的可扩展方法。通过使用数据的小批量（mini-batches）进行随机梯度更新，取代批量优化，SVI 实现了在海量数据集上的高效推断——在包含最多 380 万篇文档的主题模型上进行了验证——在速度和可扩展性方面优于传统变分推断，同时保持了准确性。

ABSTRACT

We develop stochastic variational inference, a scalable algorithm for approximating posterior distributions. We develop this technique for a large class of probabilistic models and we demonstrate it with two probabilistic topic models, latent Dirichlet allocation and the hierarchical Dirichlet process topic model. Using stochastic variational inference, we analyze several large collections of documents: 300K articles from Nature, 1.8M articles from The New York Times, and 3.8M articles from Wikipedia. Stochastic inference can easily handle data sets of this size and outperforms traditional variational inference, which can only handle a smaller subset. (We also show that the Bayesian nonparametric topic model outperforms its parametric counterpart.) Stochastic variational inference lets us apply complex Bayesian models to massive data sets.

研究动机与目标

• 解决传统变分推断在应用于大规模数据集时的可扩展性限制。
• 开发一种可扩展至大规模文档集合及其他高维数据的通用推断算法。
• 使复杂贝叶斯模型（包括非参数模型）能够在传统推断方法无法处理的大数据集上使用。
• 通过使用来自《自然》（Nature）、《纽约时报》（The New York Times）和维基百科（Wikipedia）的数据，在真实世界的大规模主题建模任务中展示该方法的有效性。

提出的方法

• 该方法用基于数据小批量的噪声梯度估计进行随机优化，取代变分推断中的批量坐标上升。
• 在变分参数空间中采用自然梯度更新，以提高收敛性和稳定性。
• 对于具有全局和局部隐变量的模型，该算法在使用子采样数据更新全局参数的同时，交替更新局部变分参数。
• 该算法推导自指数族指数族模型，可高效计算充分统计量和期望值。
• 一个关键创新是使用无偏随机梯度更新全局参数，并采用随时间衰减的步长以确保收敛。
• 该方法支持参数和非参数贝叶斯模型，包括潜在狄利克雷分配（LDA）和层次狄利克雷过程主题模型。

实验结果

研究问题

• RQ1 能否将变分推断扩展到传统批量方法计算不可行的海量数据集？
• RQ2 如何有效结合随机优化与变分推断，在提升速度的同时保持准确性？
• RQ3 所提出的算法在大规模数据上的收敛速度和最终模型质量方面是否优于标准变分推断？
• RQ4 随机变分推断能否应用于非参数贝叶斯模型（如层次狄利克雷过程），并提升性能？
• RQ5 在后验近似背景下，随机梯度更新的理论和经验特性是什么？

主要发现

• 随机变分推断成功扩展到最多 380 万篇文档的数据集，其中包括 180 万篇来自《纽约时报》和 30 万篇来自《自然》的文档。
• 与在数据集超过几十万篇文档时即面临困难的传统批量变分推断相比，该方法实现了更快的收敛速度和更低的训练时间。
• 在大规模数据上，贝叶斯非参数主题模型（层次狄利克雷过程）在预测似然和主题一致性方面优于其参数化对应模型（LDA）。
• 采用衰减步长的随机更新可确保收敛至证据下界（ELBO）的驻点。
• 由于使用了无偏随机梯度和自然参数更新，即使在小批量情况下，该算法仍能保持高质量的后验近似。
• 实证结果表明，SVI 在大规模文本语料上实现与批量方法相当或更优的性能，同时将训练时间降低了一个数量级以上。