[论文解读] Parallelizing LDA using Partially Collapsed Gibbs Sampling

Måns Magnusson, Leif Jonsson+2 more|arXiv (Cornell University)|Jun 11, 2015

Music and Audio Processing参考文献 33被引用 6

一句话总结

本文提出了一种用于潜在狄利克雷分配（LDA）的偏完全坍塌吉布斯采样器，该采样器仅对文档级别的主题比例进行坍塌，从而实现跨文档的主题指标独立且并行采样。与完全坍塌采样器不同，该方法在保持收敛至真实后验分布的同时，显著提升了大规模语料上的运行速度，统计效率的损失被并行化带来的收益所抵消。

ABSTRACT

Latent dirichlet allocation (LDA) is a model widely used for unsupervised probabilistic modeling of text and images. MCMC sampling from the posterior distribution is typically performed using a collapsed Gibbs sampler that integrates out all model parameters except the topic indicators for each word. The topic indicators are Gibbs sampled iteratively by drawing each topic from its conditional posterior. The popularity of this sampler stems from its balanced combination of simplicity and efficiency, but its inherently sequential nature is an obstacle for parallel implementations. Growing corpus sizes and increasing model complexity are making inference in LDA models computationally infeasible without parallel sampling. We propose a parallel implementation of LDA that only collapses over the topic proportions in each document and therefore allows independent sampling of the topic indicators in different documents. We develop several modifications of the basic algorithm that exploits sparsity and structure to further improve the performance of the partially collapsed sampler. Contrary to other parallel LDA implementations, the partially collapsed sampler guarantees convergence to the true posterior. We show on several well-known corpora that the expected increase in statistical inefficiency from only partial collapsing is smaller than commonly assumed, and can be more than compensated by the speed-up from parallelization for larger corpora.

研究动机与目标

• 解决随着语料规模增长，LDA推断中顺序吉布斯采样带来的计算瓶颈问题。
• 克服传统LDA实现中完全坍塌吉布斯采样固有的顺序性，从而限制并行化的问题。
• 开发一种并行LDA推断方法，通过保证收敛至真实后验分布来维持正确性。
• 在最小化部分坍塌引入的统计低效性的同时，最大化并行执行带来的性能提升。
• 证明在大规模语料上，统计效率与计算加速之间的权衡是有利的。

提出的方法

• 提出一种偏完全坍塌吉布斯采样器，仅对文档特定的主题比例进行积分，保留词级别主题指标作为待采样的隐变量。
• 通过部分共轭性解耦文档间主题指标，实现其独立采样，从而支持真正的并行化。
• 利用文档-主题分布和主题-词分布中的稀疏性，优化内存访问并减少计算时间。
• 引入算法优化，利用LDA的条件独立性结构以加速采样步骤。
• 通过确保马尔可夫链在部分坍塌下仍能收敛至真实后验分布，维持细致平衡与正确性。
• 设计一种采样方案，使各文档内的主题指标并行更新，仅通过共享的全局主题-词参数进行同步。

实验结果

研究问题

• RQ1 LDA的偏完全坍塌吉布斯采样器是否能在不牺牲收敛至真实后验分布的前提下实现有效的并行化？
• RQ2 与完全坍塌相比，部分坍塌带来的统计低效性在混合效率和收敛速度方面如何？
• RQ3 在偏完全坍塌设置下，能在多大程度上利用LDA的稀疏性和结构特性来提升性能？
• RQ4 对于大规模语料，由并行化带来的性能增益是否超过预期的统计低效性增加？
• RQ5 在偏完全坍塌LDA推断中，计算速度与采样效率之间的经验权衡如何？

主要发现

• 该偏完全坍塌吉布斯采样器保证收敛至真实后验分布，而其他并行LDA方法可能引入偏差。
• 由于部分坍塌导致的统计低效性增加，远小于普遍预期，尤其是在大规模语料中。
• 并行化带来显著的速度提升，且性能增益随语料规模增大而增强。
• 由于并行性与可管理的统计成本相结合，该方法在大规模数据集上的整体效率优于完全坍塌采样器。
• 基于稀疏性的优化显著提升了运行时间性能，且不损害采样准确性。
• 在知名语料上的实证结果表明，并行执行带来的加速远超过统计效率的微小损失。