[论文解读] Streaming Variational Bayes

Tamara Broderick, Nicholas Boyd+3 more|arXiv (Cornell University)|Jul 25, 2013

Bayesian Methods and Mixture Models参考文献 20被引用 120

一句话总结

本文提出 SDA-Bayes，一种用于近似贝叶斯推断的流式、分布式、异步框架，以变分贝叶斯（VB）作为近似原语。该框架可在每个数据批次后实现真正的实时后验更新，克服了随机变分推断（SVI）必须预先指定总数据量 D 的局限性，并在大规模文档集合的 LDA 模型上展现出优越性能。

ABSTRACT

We present SDA-Bayes, a framework for (S)treaming, (D)istributed, (A)synchronous computation of a Bayesian posterior. The framework makes streaming updates to the estimated posterior according to a user-specified approximation batch primitive. We demonstrate the usefulness of our framework, with variational Bayes (VB) as the primitive, by fitting the latent Dirichlet allocation model to two large-scale document collections. We demonstrate the advantages of our algorithm over stochastic variational inference (SVI) by comparing the two after a single pass through a known amount of data---a case where SVI may be applied---and in the streaming setting, where SVI does not apply.

研究动机与目标

• 解决随机变分推断（SVI）的局限性，即后验近似需要固定且预先指定的总数据量 D。
• 实现真正的流式贝叶斯推断，使后验在每个数据批次后逐步更新，反映迄今已处理的文档数量。
• 开发一种可扩展的框架，兼容分布式和异步计算，适用于大规模数据工作负载。
• 在真实世界文档集合（如 Wikipedia 和 Nature）上的 LDA 模型中，验证该框架的有效性。
• 克服 SVI 对超参数（如学习率和数据量估计值）的敏感性，当 D 估计错误时性能会下降。

提出的方法

• 构建一种递归贝叶斯更新过程，其中每个新数据小批量均使用前一后验作为先验来更新后验。
• 使用变分贝叶斯（VB）作为用户指定的近似原语，以在每个小批量后计算后验近似。
• 定义流式更新规则：$ q_b(\Theta) = \mathcal{A}(C_b, q_{b-1}(Θ)) $，其中 $ \mathcal{A} $ 将 VB 应用于当前小批量和前一ored 模型。
• 通过解耦更新过程与顺序依赖关系，确保框架支持分布式和异步计算。
• 在 LDA 上应用该框架，通过 VB 在每个文档小批量后近似主题分布的后验。
• 对每个数据点使用恒定数量的操作，实现可扩展性，并在不重新访问历史数据的情况下实现实时推断。

实验结果

研究问题

• RQ1 能否设计一种贝叶斯推断框架，支持真正的流式更新，使后验反映迄今已处理的文档数量？
• RQ2 当总数据量 D 未知或估计错误时，SDA-Bayes 与随机变分推断（SVI）的性能相比如何？
• RQ3 在流式环境中，SDA-Bayes 对学习率和小批量大小等超参数的选择有多大的鲁棒性？
• RQ4 该框架在保持准确性和收敛性的同时，能否在分布式系统中高效并行化和扩展？
• RQ5 在流式设置中，使用变分贝叶斯作为近似原语是否在 LDA 模型中优于期望传播（EP）等替代方法？

主要发现

• SDA-Bayes 在每个小批量后成功计算出近似后验，实现无需预设总数据量 D 的实时推断。
• 与 SVI 不同，SDA-Bayes 在真实数据量 D 未知或估计错误时仍保持稳定性能，敏感性分析显示 D 值在真实值的 0.01 至 100 倍范围内时性能稳定。
• 当 D 估计错误时，SVI 性能显著下降，某些情况下对数预测概率下降超过 1.5 个单位，而 SDA-Bayes 保持鲁棒。
• 该框架对学习率调优不敏感，而 SVI 需要交叉验证且对步长参数高度敏感。
• 基于 EP 的 SDA-Bayes 在 LDA 上未能收敛到有竞争力的结果，Wikipedia 上耗时超过 91 小时，Nature 上耗时超过 97 小时，对数预测概率分别约为 -7.95 和 -8.02。
• 使用 VB 的 SDA-Bayes 在大规模文档集合上实现了稳定且准确的推断，展现出在流式环境中的可扩展性和适应性。