[论文解读] Scaling up Dynamic Topic Models

Arnab Bhadury, Jianfei Chen+2 more|arXiv (Cornell University)|Feb 19, 2016

Gaussian Processes and Bayesian Inference参考文献 16被引用 7

一句话总结

该论文提出了一种可扩展的吉布斯采样算法，结合随机梯度朗之万动力学（SGLD），用于动态主题模型（DTMs）的后验推断，避免了限制性的平均场假设。该方法可在大规模数据集上实现高效、并行的推断，在不到30分钟内从260万篇文档中学习1000个主题，困惑度低于变分基线方法。

ABSTRACT

Dynamic topic models (DTMs) are very effective in discovering topics and capturing their evolution trends in time series data. To do posterior inference of DTMs, existing methods are all batch algorithms that scan the full dataset before each update of the model and make inexact variational approximations with mean-field assumptions. Due to a lack of a more scalable inference algorithm, despite the usefulness, DTMs have not captured large topic dynamics. This paper fills this research void, and presents a fast and parallelizable inference algorithm using Gibbs Sampling with Stochastic Gradient Langevin Dynamics that does not make any unwarranted assumptions. We also present a Metropolis-Hastings based $O(1)$ sampler for topic assignments for each word token. In a distributed environment, our algorithm requires very little communication between workers during sampling (almost embarrassingly parallel) and scales up to large-scale applications. We are able to learn the largest Dynamic Topic Model to our knowledge, and learned the dynamics of 1,000 topics from 2.6 million documents in less than half an hour, and our empirical results show that our algorithm is not only orders of magnitude faster than the baselines but also achieves lower perplexity.

研究动机与目标

• 解决动态主题模型（DTMs）在处理大规模时间序列数据时缺乏可扩展且准确的推断方法的问题。
• 克服批量变分推断在DTMs中的局限性，后者依赖于限制性的平均场近似，且难以扩展到大量主题。
• 为DTMs实现高效、可并行化的推断，以支持具有数千个主题和数百万篇文档的工业级应用。
• 开发一种方法，在避免不必要假设的同时保持高精度，并实现相对于现有基线方法数量级的速度提升。

提出的方法

• 采用分块吉布斯采样结合梅特罗波利斯-哈斯廷斯采样，利用别名表实现每个词元的摊销O(1)采样复杂度。
• 集成随机梯度朗之万动力学（SGLD）以使用小批量数据对非共轭的逻辑正态参数（η和α）进行采样，实现可扩展且高效的更新。
• 通过独立处理每个时间片来解耦时间片之间的依赖关系，实现在多台机器上的无依赖并行执行。
• 通过数据增强与SGLD避免平均场近似，从而在后验近似精度上优于变分方法。
• 利用基于MPI的分布式计算，最小化工作节点间的通信开销，实现在核心和时间片上的近线性扩展。
• 优化采样流水线中的CPU缓存访问，进一步加速单机性能。

实验结果

研究问题

• RQ1 能否为动态主题模型设计一种可扩展且可并行化的推断算法，同时避免限制性的平均场假设？
• RQ2 如何利用随机优化技术高效地在大规模数据上对DTMs中的非共轭参数进行采样？
• RQ3 在大规模数据集上，所提方法在速度和模型似然（困惑度）方面相较于变分推断的性能提升程度如何？
• RQ4 该算法能否在保持分布式环境中低通信开销的前提下，扩展到数千个主题和数百万篇文档？

主要发现

• 所提出的GS-SGLD算法在分布式系统上仅用不到30分钟即从260万篇文档中学习到1000个主题的动态主题模型，创下DTM的新规模纪录。
• 在NIPS数据集上，该算法在单机设置下相比最佳基线实现3.5倍加速，在分布式设置下实现5倍加速。
• 与变分推断基线相比，该算法将困惑度降低了12%，表明模型似然性更高，后验近似更优。
• 由于其无依赖并行设计，该方法在时间片数量增加时表现出接近线性的可扩展性，每轮迭代的采样复杂度保持恒定。
• 使用58个核心，该算法在29个时间片的数据集上仅用398.32秒完成推断，而基线方法在一小时内未能完成。
• 使用小批量SGLD对非共轭参数进行采样，避免了平均场假设，显著提升了模型质量。