[论文解读] Using Variational Inference and MapReduce to Scale Topic Modeling

Ke Zhai, Jordan Boyd‐Graber+1 more|arXiv (Cornell University)|Jul 19, 2011

Topic Modeling参考文献 44被引用 10

一句话总结

本文提出 Mr. LDA，一种可扩展的主题建模框架，通过在 MapReduce 框架中使用变分推断，高效地将 LDA 推断分布到大规模文档集合上。与因共享状态和收敛问题而难以并行化的 Gibbs 采样不同，Mr. LDA 利用变分推断实现一致且可扩展的分布式计算，从而在保持高可扩展性的同时支持诸如启发式先验和多语言主题建模等扩展功能。

ABSTRACT

Latent Dirichlet Allocation (LDA) is a popular topic modeling technique for exploring document collections. Because of the increasing prevalence of large datasets, there is a need to improve the scalability of inference of LDA. In this paper, we propose a technique called ~\emph{MapReduce LDA} (Mr. LDA) to accommodate very large corpus collections in the MapReduce framework. In contrast to other techniques to scale inference for LDA, which use Gibbs sampling, we use variational inference. Our solution efficiently distributes computation and is relatively simple to implement. More importantly, this variational implementation, unlike highly tuned and specialized implementations, is easily extensible. We demonstrate two extensions of the model possible with this scalable framework: informed priors to guide topic discovery and modeling topics from a multilingual corpus.

研究动机与目标

• 解决传统 LDA 推断在大规模文档集合上的可扩展性限制。
• 克服并行化 Gibbs 采样所面临的挑战，如共享状态和分布式节点间计数不一致的问题。
• 开发一种可扩展的分布式 LDA 框架，在保持推断质量的同时支持新模型扩展。
• 通过实现启发式先验和多语言主题建模，证明框架的灵活性。

提出的方法

• 采用变分推断而非 Gibbs 采样，以在 MapReduce 框架中实现一致且可扩展的分布式推断。
• 使用均值场变分推断来近似潜在主题和词分配的后验分布。
• 设计 MapReduce 流水线，使 Map 阶段计算局部充分统计量，Reduce 阶段聚合并更新全局变分参数。
• 将 LDA 模型分解为局部和全局组件，使文档块可独立处理，同时保持全局参数的一致性。
• 应用变分下界（ELBO）在 MapReduce 迭代过程中迭代优化近似后验分布。
• 通过修改变分分布和参数更新方式，设计框架以支持非共轭先验和多语言扩展。

实验结果

研究问题

• RQ1 变分推断能否有效映射到 MapReduce 编程模型，以在不牺牲收敛性或质量的前提下实现 LDA 推断的可扩展性？
• RQ2 Mr. LDA 在对数似然和收敛稳定性方面与基于 Gibbs 采样的分布式 LDA 相比表现如何？
• RQ3 Mr. LDA 框架能否支持高级模型扩展，如启发式先验和多语言主题建模？
• RQ4 该框架在文档数量和主题数量增加时，其可扩展性达到何种程度？

主要发现

• Mr. LDA 通过使用变分推断实现高可扩展性，避免了分布式 LDA 中 Gibbs 采样固有的共享状态和收敛问题。
• 该框架在分布式节点间表现出一致的推断质量，避免了某些基于 Gibbs 采样的分布式实现中观察到的对数似然显著下降。
• 变分推断的使用使框架能够支持非共轭先验和多语言主题建模，而这些在 Gibbs 采样中难以实现。
• Mr. LDA 能够成功提取跨语言的等效主题（例如德语中的 'music' 和 'oper'），并在结果中保留区域性的语言特征。
• 该框架支持高效的在线推断，并可通过自动推断推导扩展到其他模型。
• 评估结果表明，Mr. LDA 在文档数量和主题数量增加时均能有效扩展，在大规模语料上保持性能。