[论文解读] Probabilistic Synchronous Parallel

Liang Wang, Ben Catterall+1 more|arXiv (Cornell University)|Sep 22, 2017

Stochastic Gradient Optimization Techniques参考文献 16被引用 5

一句话总结

本文提出概率同步并行（PSP），一种用于分布式机器学习的新颖屏障控制技术，利用采样原语以概率方式估计节点进度，从而在BSP、SSP和ASP的基础上实现更快的收敛速度和更强的可扩展性。PSP将模型一致性与屏障控制解耦，支持完全分布式的部署，并以极低的通信开销提供更强的收敛保证。

ABSTRACT

Most machine learning and deep neural network algorithms rely on certain iterative algorithms to optimise their utility/cost functions, e.g. Stochastic Gradient Descent. In distributed learning, the networked nodes have to work collaboratively to update the model parameters, and the way how they proceed is referred to as synchronous parallel design (or barrier control). Synchronous parallel protocol is the building block of any distributed learning framework, and its design has direct impact on the performance and scalability of the system. In this paper, we propose a new barrier control technique - Probabilistic Synchronous Parallel (PSP). Com- paring to the previous Bulk Synchronous Parallel (BSP), Stale Synchronous Parallel (SSP), and (Asynchronous Parallel) ASP, the proposed solution e ectively improves both the convergence speed and the scalability of the SGD algorithm by introducing a sampling primitive into the system. Moreover, we also show that the sampling primitive can be applied atop of the existing barrier control mechanisms to derive fully distributed PSP-based synchronous parallel. We not only provide a thorough theoretical analysis1 on the convergence of PSP-based SGD algorithm, but also implement a full-featured distributed learning framework called Actor and perform intensive evaluation atop of it.

研究动机与目标

• 解决现有屏障控制方法（BSP、SSP和ASP）在大规模、动态且不可靠的分布式系统中的局限性。
• 通过将屏障控制与模型一致性解耦，减少分布式学习中的通信和协调开销。
• 设计一种可扩展的、完全分布式的同步机制，在网络异构性和节点动态变化下仍能保持收敛保证。
• 引入并评估一种新的系统原语——采样，以实现概率性、高效且可组合的屏障控制。
• 为基于PSP的SGD提供理论收敛界，其紧致性优于ASP和SSP。

提出的方法

• 引入一种采样原语，用于估计已完成计算步骤的节点比例，从而实现概率性屏障触发。
• 使用滞留参数 $ r $ 和采样次数 $ \beta $，基于 $ r $ 步内的滞留分布定义概率收敛界。
• 通过使用采样进度触发同步，将屏障控制与模型参数更新解耦，减少对全局协调的依赖。
• 将采样原语与BSP和SSP等现有协议组合，构建更高阶的、完全分布式的同步机制。
• 推导出参数更新的期望均值和方差的理论界，表明其仅依赖于滞留分布的前 $ r $ 步。
• 采用基于分布式Actor的系统进行实现与评估，实现在异构环境中对PSP的真实世界验证。

实验结果

研究问题

• RQ1 与确定性或完全异步方法相比，基于概率采样的屏障控制机制是否能提升分布式SGD的收敛速度和可扩展性？
• RQ2 在重尾或时变滞留分布下，采样原语如何影响收敛保证，特别是与ASP和SSP相比？
• RQ3 采样原语在多大程度上可与BSP和SSP等现有屏障控制机制组合，以实现完全分布式的可扩展同步？
• RQ4 采样次数 $ \beta $ 和滞留参数 $ r $ 对收敛界紧致性和系统性能有何影响？
• RQ5 PSP是否能在减少通信和协调开销的同时，维持大规模、动态且不可靠分布式系统中的强收敛保证？

主要发现

• PSP通过仅依赖滞留分布前 $ r $ 步内的概率质量，相比ASP实现了更紧致的收敛界。
• 将采样次数 $ \beta $ 从1增加到100可显著收紧收敛界，且在较小 $ \beta $ 后收益递减，表明采样效率极高，仅需极少采样。
• PSP对重尾和时变滞留分布具有鲁棒性，在系统动态波动时仍能保持稳定的收敛性能。
• PSP在收敛稳定性方面优于ASP，因其边界不依赖于平均滞留时间，避免了随时间推移的性能退化。
• PSP提供了一种完全分布式的屏障控制机制，无需全局系统状态知识，与SSP不同，从而实现了更好的水平可扩展性。
• 在真实世界Actor-based系统中的评估表明，PSP在各种网络条件下均实现了比现有方法更快的收敛速度和更好的可扩展性。