[论文解读] Petuum: A New Platform for Distributed Machine Learning on Big Data

Eric P. Xing, Qirong Ho+8 more|arXiv (Cornell University)|Dec 30, 2013

Graph Theory and Algorithms参考文献 26被引用 9

一句话总结

Petuum 是一个分布式机器学习平台，通过利用迭代收敛优化、有界误差同步和动态调度，实现了大规模机器学习工作负载的高效可扩展执行。其在 Spark、GraphLab 和 YahooLDA 上实现了 2–10 倍的加速，并可在普通集群上支持高达 1000 亿参数的模型，展示了在大数据和大模型场景下的卓越性能与可扩展性。

ABSTRACT

What is a systematic way to efficiently apply a wide spectrum of advanced ML programs to industrial scale problems, using Big Models (up to 100s of billions of parameters) on Big Data (up to terabytes or petabytes)? Modern parallelization strategies employ fine-grained operations and scheduling beyond the classic bulk-synchronous processing paradigm popularized by MapReduce, or even specialized graph-based execution that relies on graph representations of ML programs. The variety of approaches tends to pull systems and algorithms design in different directions, and it remains difficult to find a universal platform applicable to a wide range of ML programs at scale. We propose a general-purpose framework that systematically addresses data- and model-parallel challenges in large-scale ML, by observing that many ML programs are fundamentally optimization-centric and admit error-tolerant, iterative-convergent algorithmic solutions. This presents unique opportunities for an integrative system design, such as bounded-error network synchronization and dynamic scheduling based on ML program structure. We demonstrate the efficacy of these system designs versus well-known implementations of modern ML algorithms, allowing ML programs to run in much less time and at considerably larger model sizes, even on modestly-sized compute clusters.

研究动机与目标

• 解决学术机器学习实现与大规模集群上工业部署之间的可扩展性差距。
• 克服 Hadoop、Spark 和 GraphLab 等现有平台在处理大模型和细粒度同步方面的局限性。
• 在一个统一框架中统一数据并行与模型并行，支持多种机器学习算法。
• 在中小型集群上实现先进机器学习算法的高效、正确且可编程执行。
• 证明基于机器学习算法结构的系统化设计可显著提升性能与可扩展性。

提出的方法

• 以机器学习算法的迭代收敛特性为基础进行系统设计，支持容错和收敛计算。
• 引入有界误差网络同步机制，在保证正确性的同时允许异步执行以提升性能。
• 采用动态调度器，利用数据和模型依赖关系优化计算与通信调度。
• 使用轻量级参数服务器架构，存储开销极小，支持跨机器的模型并行。
• 应用依赖感知调度，实现 LDA 和矩阵分解等算法在模型并行执行中的正确性与高效性。
• 通过统一抽象支持数据并行与模型并行执行模式，实现跨多种机器学习程序的可移植性。

实验结果

研究问题

• RQ1 通用分布式机器学习平台能否在高效率和正确性下有效处理大数据和大模型？
• RQ2 有界误差同步与动态调度在不牺牲收敛性保证的前提下，如何提升分布式机器学习的性能？
• RQ3 单一框架在不同硬件配置下，能在多大程度上支持多样化的机器学习算法，包括 LDA、矩阵分解和深度学习？
• RQ4 Petuum 能否在 Caffe 和 DML 等单机算法的集群实现中实现接近线性的加速？
• RQ5 Petuum 的模型并行机制与参数服务器设计如何在有限硬件条件下实现超过 1000 亿参数模型的扩展？

主要发现

• 在矩阵分解和 LDA 工作负载上，Petuum 相较于 Spark 和 GraphLab 实现了 2–6 倍加速，且在 LDA 上相较 YahooLDA 最高实现 6 倍加速，主要得益于更优的调度策略。
• Petuum 是唯一在给定硬件上成功将矩阵分解扩展至秩 K ≥ 1000 的平台，优于 Spark 和 GraphLab。
• Petuum 实现的 Caffe 卷积神经网络在 4 台机器上实现 3.1 倍加速，表明在极少代码修改下实现接近线性扩展。
• Petuum 的 DML 实现相比单机 Xing2002 实现，在 4 台机器上收敛速度快 3.8 倍，展现出数据并行 SGD 的强大性能。
• Petuum 的 LDA 收敛更快，且支持的 LDA 模型规模超过 YahooLDA 的数据并行实现 10 倍以上，可实现长尾主题的捕捉。
• Petuum 的模型并行机制与轻量级参数服务器显著降低了内存开销，使在固定集群内存预算下训练更大模型成为可能。