[论文解读] Parallel Stochastic Gradient Descent with Sound Combiners

Saeed Maleki, Madanlal Musuvathi+1 more|arXiv (Cornell University)|May 22, 2017

Stochastic Gradient Optimization Techniques参考文献 12被引用 3

一句话总结

该论文提出 SymSGD，一种并行随机梯度下降算法，通过使用可靠的模型组合器准确合并线程间的本地模型，从而保留 SGD 的顺序语义。该方法在 16 核系统上相比串行 SGD 最快可实现 11 倍加速，且在保持等效准确率的同时，通过一阶近似梯度更新，最小化了延迟和通信开销，平均性能比 Hogwild! 快 2.2 倍。

ABSTRACT

Stochastic gradient descent (SGD) is a well known method for regression and classification tasks. However, it is an inherently sequential algorithm at each step, the processing of the current example depends on the parameters learned from the previous examples. Prior approaches to parallelizing linear learners using SGD, such as HOGWILD! and ALLREDUCE, do not honor these dependencies across threads and thus can potentially suffer poor convergence rates and/or poor scalability. This paper proposes SYMSGD, a parallel SGD algorithm that, to a first-order approximation, retains the sequential semantics of SGD. Each thread learns a local model in addition to a model combiner, which allows local models to be combined to produce the same result as what a sequential SGD would have produced. This paper evaluates SYMSGD's accuracy and performance on 6 datasets on a shared-memory machine shows upto 11x speedup over our heavily optimized sequential baseline on 16 cores and 2.2x, on average, faster than HOGWILD!.

研究动机与目标

• 为解决现有并行 SGD 方法（如 Hogwild! 和 AllReduce）因延迟或不频繁更新而违反顺序依赖性所导致的可扩展性和收敛性问题。
• 通过保留串行 SGD 的一阶行为，在共享内存系统上实现高效、高保真的 SGD 并行化。
• 减少多核环境中的通信和缓存一致性开销，尤其是在多个插槽之间，而现有方法（如 Hogwild!）在该场景下受可扩展性限制。
• 设计一种模型组合器机制，准确捕捉中间全局模型更新对本地模型的影响，确保收敛保真度。
• 证明在具备大内存容量的现代多核机器上，通过并行 SGD 可实现接近串行 SGD 的准确率，同时显著提升性能。

提出的方法

• 每个线程维护一个本地模型和一个模型组合器，用于捕捉在同步点之间全局模型因梯度更新而产生的第一阶影响。
• 利用 Hessian 和梯度信息计算模型组合器，以近似若全局模型按顺序更新时其变化的预期。
• 定期，线程通过使用模型组合器校正全局模型的任何中间变化，将本地模型更新应用到全局模型上以实现同步。
• 该算法支持异步和多轮（MR）同步模式，其中异步变体通过仅针对频繁访问的特征进行通信，最小化通信开销。
• 该方法具有通用性，适用于多种机器学习问题和并行架构，评估聚焦于共享内存系统中的线性模型。
• 通过考虑全局模型的时间演化，模型组合器确保最终的全局模型与串行 SGD 所产生的结果在第一阶近似下等价。

实验结果

研究问题

• RQ1 并行 SGD 算法是否能在多核系统上实现高可扩展性的同时，保留串行 SGD 的收敛行为？
• RQ2 如何构建模型组合器，以在并行环境中准确近似串行梯度更新的一阶效应？
• RQ3 在并行 SGD 中减少通信频率是否相比 Hogwild!（每例后通信）能带来更好的性能和可扩展性？
• RQ4 所提方法是否能在稀疏和密集数据集上均保持高准确率，而 Hogwild! 仅针对稀疏数据优化？
• RQ5 在共享内存系统中，使用模型组合器在多插槽环境下对性能和可扩展性的提升程度如何？

主要发现

• SymSGD 在 16 核系统上相比高度优化的串行 SGD 基线最高可实现 11 倍加速，证明了其在多核机器上的强大可扩展性。
• 在所评估的数据集上，SymSGD 平均比 Hogwild! 快 2.2 倍，且在大规模场景下仍保持一致的性能提升。
• 异步 SymSGD 在多个插槽间实现线性可扩展性，而 Hogwild! 在 8 到 16 核之间因缓存一致性开销导致性能下降。
• 模型组合器机制成功近似了串行 SGD 的行为，确保最终模型与串行基线的准确率一致。
• MR-SymSGD 和 Async-SymSGD 在多插槽配置中均优于 Hogwild!，其中 Async-SymSGD 因通信开销更低而更快。
• 该方法在稀疏和密集数据集上均保持高准确率，而 Hogwild! 在密集数据上效果较差，且 AllReduce 风格方法易受延迟影响。