[论文解读] Primitives for Dynamic Big Model Parallelism

Seunghak Lee, Jin Kyu Kim+4 more|arXiv (Cornell University)|Jun 18, 2014

Graph Theory and Algorithms参考文献 27被引用 15

一句话总结

该论文提出了 STRADS，一种包含动态模型并行原语——调度、推送和拉取——的框架，通过在分布式工作者之间划分模型参数，实现了大规模机器学习模型的高效、可扩展训练。与 YahooLDA 和 GraphLab 等基线方法相比，STRADS 在主题建模、矩阵分解和 Lasso 回归等任务中实现了更快的收敛速度和更大的模型可扩展性，尤其适用于参数量高达 2000 亿的模型。

ABSTRACT

When training large machine learning models with many variables or parameters, a single machine is often inadequate since the model may be too large to fit in memory, while training can take a long time even with stochastic updates. A natural recourse is to turn to distributed cluster computing, in order to harness additional memory and processors. However, naive, unstructured parallelization of ML algorithms can make inefficient use of distributed memory, while failing to obtain proportional convergence speedups - or can even result in divergence. We develop a framework of primitives for dynamic model-parallelism, STRADS, in order to explore partitioning and update scheduling of model variables in distributed ML algorithms - thus improving their memory efficiency while presenting new opportunities to speed up convergence without compromising inference correctness. We demonstrate the efficacy of model-parallel algorithms implemented in STRADS versus popular implementations for Topic Modeling, Matrix Factorization and Lasso.

研究动机与目标

• 解决参数量达数十亿、超出单机内存容量的大规模机器学习模型训练挑战。
• 克服朴素数据并行和静态模型并行方法中存在的低效问题，避免出现缩放性能差或算法发散的情况。
• 通过提供细粒度、用户可控的调度与更新策略，减少模型参数之间的依赖关系，提升收敛速度。
• 提供一个通用、可编程的框架，支持动态模型并行，适用于主题建模、矩阵分解和 Lasso 等多种机器学习工作负载。
• 证明动态调度与变量分区可显著提升内存效率和收敛性能，同时不损害正确性。

提出的方法

• 引入三种核心原语：调度（选择要更新的模型变量）、推送（在工作者上计算部分更新）和拉取（聚合更新并自动同步应用）。
• 采用星型拓扑结构，由中央调度器管理变量更新，通过每次拉取后的自动同步确保一致性。
• 基于变量重要性和依赖性分析，实现动态调度策略——LDA 使用单词轮转，MF 使用轮询，Lasso 使用动态优先级。
• 将模型变量分区部署于分布式工作者，减轻内存压力，避免完整模型复制，从而支持比以往系统更大的模型。
• 在 STRADS 框架内应用坐标下降和折叠 Gibbs 采样，以在保持收敛性的同时实现并行化。
• 设计系统时考虑可扩展性，允许用户为不同机器学习算法自定义调度与更新逻辑。

实验结果

研究问题

• RQ1 具备动态调度原语的可编程框架是否能提升大规模机器学习模型的收敛速度与可扩展性？
• RQ2 与静态或数据并行方法相比，动态变量分区与调度在减少并行化误差和同步开销方面有何优势？
• RQ3 STRADS 在多大程度上可扩展至数百亿参数的模型，如大型主题模型或高秩矩阵分解？
• RQ4 对模型变量进行动态优先级排序（如在 Lasso 中）是否能带来比静态或轮询调度更快的收敛速度？
• RQ5 STRADS 是否能在支持比现有系统（如 YahooLDA 或 GraphLab）更大的模型规模的同时，保持收敛正确性与目标函数质量？

主要发现

• STRADS 成功训练了一个包含 2200 万个词组和 10,000 个主题（共 2000 亿参数）的主题模型，远超 YahooLDA 的 5000 个主题限制。
• 在矩阵分解任务中，STRADS 在 48 万×10 万的矩阵上实现了秩为 2000（共 10 亿个变量）的扩展，远超 GraphLab 中此前的秩 < 80 的限制。
• 在包含 1 亿个特征的 Lasso 任务中，STRADS 使用动态优先级调度在约 250 秒内收敛至最优目标值，显著快于 Lasso-RR。
• STRADS 实现了近线性扩展：在 LDA 实验中，每将机器数量加倍，收敛时间几乎减半，展现出强大的横向可扩展性。
• 通过智能的变量分区与调度，STRADS 有效降低了并行化误差与同步开销，收敛速度优于静态或数据并行基线方法。
• 在所有任务中，STRADS 均保持了高于基线的客观目标值，证实性能提升并非源于收敛妥协，而是得益于更优的算法设计。