[论文解读] Parallelizing Word2Vec in Shared and Distributed Memory

Shihao Ji, Nadathur Satish+2 more|arXiv (Cornell University)|Apr 15, 2016

Topic Modeling参考文献 17被引用 21

一句话总结

本文提出了一种高性能、可扩展的 word2vec 实现，通过小批量处理（minibatching）和共享负采样技术，将内存带宽密集型的向量-向量操作替换为矩阵乘法操作，从而高效利用现代多核和分布式架构。该方法在32个节点上实现了接近线性的扩展，每秒处理超过1.1亿个词，准确率损失极小，是迄今为止在十亿词基准测试中最快的 word2vec 实现。

ABSTRACT

Word2Vec is a widely used algorithm for extracting low-dimensional vector representations of words. It generated considerable excitement in the machine learning and natural language processing (NLP) communities recently due to its exceptional performance in many NLP applications such as named entity recognition, sentiment analysis, machine translation and question answering. State-of-the-art algorithms including those by Mikolov et al. have been parallelized for multi-core CPU architectures but are based on vector-vector operations that are memory-bandwidth intensive and do not efficiently use computational resources. In this paper, we improve reuse of various data structures in the algorithm through the use of minibatching, hence allowing us to express the problem using matrix multiply operations. We also explore different techniques to distribute word2vec computation across nodes in a compute cluster, and demonstrate good strong scalability up to 32 nodes. In combination, these techniques allow us to scale up the computation near linearly across cores and nodes, and process hundreds of millions of words per second, which is the fastest word2vec implementation to the best of our knowledge.

研究动机与目标

• 解决现有 word2vec 实现依赖内存带宽密集型向量-向量操作（level-1 BLAS）导致的低效问题，这些操作未能充分利用现代多核和众核处理器的性能。
• 通过实现并行计算来克服随机梯度下降（SGD）中固有的顺序依赖性，同时不牺牲收敛性或准确率。
• 设计一种可在多个节点间高效扩展的分布式 word2vec 系统，通信开销最小化且吞吐量高。
• 在实现前所未有的训练速度的同时，保持与原始 word2vec 模型相当的预测性能，适用于 CPU 集群。

提出的方法

• 将传统的 SGD 更新替换为小批量处理，将多个词对一起处理成批次，将 level-1 BLAS 操作转换为 level-3 BLAS 矩阵乘法，提升数据重用率和硬件利用率。
• 在小批量之间共享负样本，以减少冗余计算，提高模型更新效率。
• 在分布式节点之间实施同步模型更新策略，支持可调节的同步频率，以平衡通信与计算开销。
• 应用简单的学习率调整技术，随着节点数量增加仍能保持收敛速度，避免使用 AdaGrad 或 RMSProp 等复杂调度方法。
• 通过降低模型更新频率并采用子模型同步机制来优化通信，限制分布式集群中的网络流量。
• 利用现代 CPU（Intel Broadwell 和 Knight's Landing）中的向量单元和乘加指令，加速矩阵运算，提升性能。

实验结果

研究问题

• RQ1 小批量处理和共享负采样是否能有效将 word2vec 从 level-1 BLAS 转换为 level-3 BLAS 操作，从而提升硬件利用率？
• RQ2 如何在保持收敛性和准确率的前提下，高效地在共享内存和分布式内存系统中并行化 word2vec？
• RQ3 在节点数量增加的情况下，分布式 word2vec 系统中模型更新频率与通信成本之间的最优权衡是什么？
• RQ4 简单的学习率调整策略是否能在不使用复杂自适应优化技术的前提下，维持收敛性和预测性能？
• RQ5 所提出的方法在核心和节点数量上能达到多大程度的近似线性可扩展性，同时每秒处理数亿个词？

主要发现

• 该方法在最多16个 Intel Broadwell 节点和8个 Intel Knight's Landing 节点上实现了接近线性的扩展，吞吐量从2000万提升至1.1亿词每秒。
• 在32个 Broadwell 节点上，系统每秒处理1.1亿词，词相似度准确率仅下降1%（63.2 vs. 64.0），词类比得分下降至31.1（vs. 32.4），表明高吞吐量下准确率损失极小。
• 在4个 Broadwell 节点上，该实现的性能与 BIDMach 在4块 NVIDIA Titan-X GPU 上的表现相当（2000万词/秒），展示了强大的 CPU 性能。
• 在16个 Knight's Landing 节点上，系统实现了每秒9470万词的处理速度，表明在众核架构上具有极高效率。
• 当节点数超过16个后，可扩展性因模型同步频率增加而下降，但在32个节点时，系统仍保持每秒超过1亿词的处理速度，且准确率可接受。
• 该方法保持了与原始 word2vec 模型相当的预测性能，在32个 Broadwell 节点上，词相似度得分为63.2，词类比得分为31.1，证实高速度并未损害模型质量。