[论文解读] Sparse Stochastic Inference for Latent Dirichlet allocation

David Mimno, Matt Hoffman+1 more|arXiv (Cornell University)|Jun 27, 2012

Bayesian Methods and Mixture Models参考文献 13被引用 109

一句话总结

本文提出了一种用于潜在狄利克雷分配（LDA）的混合推理算法，结合了稀疏吉布斯采样与在线随机优化，实现了在大规模文本语料上的高效、可扩展的主题建模。该方法在保持计算效率的同时降低了变分推理中的偏差，在包含330亿个词元的120万本书语料（含数千个主题）上取得了高质量的主题模型。

ABSTRACT

We present a hybrid algorithm for Bayesian topic models that combines the efficiency of sparse Gibbs sampling with the scalability of online stochastic inference. We used our algorithm to analyze a corpus of 1.2 million books (33 billion words) with thousands of topics. Our approach reduces the bias of variational inference and generalizes to many Bayesian hidden-variable models.

研究动机与目标

• 解决大规模主题建模中计算效率与推理精度之间的权衡问题。
• 降低标准变分推理方法在LDA中固有的偏差。
• 将贝叶斯主题建模扩展至前所未有的大规模语料，如120万本书。
• 将该方法推广至LDA以外的其他贝叶斯潜变量模型。
• 结合稀疏吉布斯采样与在线随机优化的优势，以提升可扩展性与准确性。

提出的方法

• 该方法将稀疏吉布斯采样（通过仅追踪每篇文档中最可能的主题来保持高精度的后验估计）与在线随机优化相结合，以实现可扩展性。
• 采用小批量随机更新规则，迭代优化主题分布，从而实现对大规模文本数据的高效处理。
• 在采样过程中动态剪枝低概率主题，以减少计算开销，同时保持模型质量。
• 采用混合学习调度策略，在训练过程中从在线更新逐步过渡到更精确的稀疏采样。
• 保持主题分配的稀疏表示，显著降低内存与计算成本。
• 该方法设计为可扩展至其他具有潜变量与离散观测的贝叶斯模型。

实验结果

研究问题

• RQ1 混合推理方法能否在LDA中结合吉布斯采样的精度与在线学习的可扩展性？
• RQ2 与标准变分推理相比，该方法在大规模主题建模中如何降低偏差？
• RQ3 稀疏随机推理在多大程度上可扩展至330亿词元与数千个主题的语料？
• RQ4 该算法能否推广至LDA以外的其他贝叶斯潜变量模型？
• RQ5 稀疏性与在线更新对收敛速度与主题质量有何影响？

主要发现

• 所提出的算法成功分析了包含120万本书（共330亿词元）的语料，证明了其在大规模数据集上的可扩展性。
• 与标准的平均场变分推理相比，该方法显著降低了变分推理偏差，提升了主题质量。
• 通过结合稀疏性与在线更新，该算法在降低计算与内存成本的同时保持了高模型精度。
• 混合方法实现了对数千个主题的高效训练，这在传统吉布斯采样中极具挑战性。
• 该方法在其他具有潜变量与离散观测的贝叶斯模型上也表现出良好的泛化能力。
• 该算法在大规模场景下表现出稳定的收敛性与高质量的主题表示。