[论文解读] Towards Big Topic Modeling

Jianfeng Yan, Jia Zeng+2 more|arXiv (Cornell University)|Nov 17, 2013

Topic Modeling参考文献 31被引用 5

一句话总结

该论文提出POBP，一种针对大规模主题建模的通信高效并行在线信念传播算法，利用幂律分布降低通信、计算和内存开销。POBP实现高精度、恒定内存使用，并展现出卓越的可扩展性，在PubMed等大规模数据集上，其速度和效率优于最先进的并行LDA方法（如PFGS、PSGS、YLDA和PVB）。

ABSTRACT

To solve the big topic modeling problem, we need to reduce both time and space complexities of batch latent Dirichlet allocation (LDA) algorithms. Although parallel LDA algorithms on the multi-processor architecture have low time and space complexities, their communication costs among processors often scale linearly with the vocabulary size and the number of topics, leading to a serious scalability problem. To reduce the communication complexity among processors for a better scalability, we propose a novel communication-efficient parallel topic modeling architecture based on power law, which consumes orders of magnitude less communication time when the number of topics is large. We combine the proposed communication-efficient parallel architecture with the online belief propagation (OBP) algorithm referred to as POBP for big topic modeling tasks. Extensive empirical results confirm that POBP has the following advantages to solve the big topic modeling problem: 1) high accuracy, 2) communication-efficient, 3) fast speed, and 4) constant memory usage when compared with recent state-of-the-art parallel LDA algorithms on the multi-processor architecture.

研究动机与目标

• 解决多处理器架构中并行LDA算法因通信成本过高而导致的可扩展性限制。
• 在不牺牲精度或增加内存使用的情况下，降低大规模主题建模中的通信复杂度。
• 通过结合通信高效架构与在线学习，实现在网络规模数据上的高效、可扩展主题建模。
• 在不同处理器数量下实现恒定内存使用，不同于基于批处理的并行LDA方法。
• 开发一种在计算资源受限条件下支持高性能主题建模的框架。

提出的方法

• 提出一种基于幂律分布的通信高效多处理器架构（MPA），以最小化通信开销。
• 提出POBP（并行在线信念传播），仅处理部分主题和词表中的词汇——称为“幂律主题”和“幂律词”——以减少计算和通信开销。
• 利用幂律分布优先处理高概率主题和词汇，实现在每次迭代中的稀疏、高效更新。
• 将POBP与在线信念传播（OBP）结合，通过小批量处理方式保持恒定内存使用。
• 采用动态、基于幂律感知的分区策略，在处理器之间分配数据和模型参数，以最小化通信量同时保持负载均衡。
• 将通信成本公式化为幂律主题和词数量的函数，确保其随词表大小和主题数量呈次线性增长。

实验结果

研究问题

• RQ1 通信高效的并行架构是否能在不降低精度的前提下，降低多处理器主题建模中的通信成本？
• RQ2 在大规模数据上，POBP与最先进的并行LDA算法相比，在速度、内存使用和精度方面表现如何？
• RQ3 结合小批量处理的在线学习是否能在处理器扩展时保持恒定内存使用并实现高效扩展？
• RQ4 在主题建模中利用幂律分布在多大程度上能减少计算和通信开销？
• RQ5 所提出的架构是否在可扩展性方面优于现有并行LDA方法，特别是在主题数量较大时？

主要发现

• POBP在收敛速度上显著优于PFGS、PSGS、YLDA和PVB，即使在处理器数量较少时，其加速比也优于其他算法。
• 在PubMed数据集上，POBP在不同处理器数量下均保持恒定的1,133 MB内存使用，而基于批处理的并行算法（如PFGS、PVB）在处理器数量增加时内存使用量持续下降。
• 当K=2000个主题时，POBP每个处理器仅使用1,133 MB内存，而PFGS和PVB在N ≤ 64时因内存溢出无法处理该数据集。
• POBP在最小处理器数量（N*）下即实现最佳加速比，表明其具有更优的可扩展性。
• 由于仅处理幂律主题和词，POBP的通信成本大幅降低，使其在通信常主导计算时间的网络规模主题建模中具备可行性。
• POBP保持了高建模精度，在大规模数据集上的收敛速度和最终主题质量均优于其他方法。