[论文解读] Straggler-Resilient Distributed Machine Learning with Dynamic Backup Workers

Guojun Xiong, Gang Yan+2 more|arXiv (Cornell University)|Feb 11, 2021

Stochastic Gradient Optimization Techniques参考文献 49被引用 10

一句话总结

该论文提出了一种基于共识的分布式机器学习中的动态备份工作者（DyBW）策略，通过自适应地仅选择最快邻居进行参数更新，以缓解慢速工作者（straggler）的影响。cb-DyBW算法在收敛过程中实现了线性加速，与全参与方法相比，迭代时长减少了65–70%，显著缩短了训练时间，且在MNIST和CIFAR-10数据集上未牺牲收敛精度。

ABSTRACT

With the increasing demand for large-scale training of machine learning models, consensus-based distributed optimization methods have recently been advocated as alternatives to the popular parameter server framework. In this paradigm, each worker maintains a local estimate of the optimal parameter vector, and iteratively updates it by waiting and averaging all estimates obtained from its neighbors, and then corrects it on the basis of its local dataset. However, the synchronization phase can be time consuming due to the need to wait for extit{stragglers}, i.e., slower workers. An efficient way to mitigate this effect is to let each worker wait only for updates from the fastest neighbors before updating its local parameter. The remaining neighbors are called extit{backup workers.} To minimize the globally training time over the network, we propose a fully distributed algorithm to dynamically determine the number of backup workers for each worker. We show that our algorithm achieves a linear speedup for convergence (i.e., convergence performance increases linearly with respect to the number of workers). We conduct extensive experiments on MNIST and CIFAR-10 to verify our theoretical results.

研究动机与目标

• 为解决分布式机器学习中因慢速工作者导致的性能瓶颈问题，即慢速节点延迟节点间同步。
• 在不增加收敛迭代次数的前提下，减少基于共识的分布式优化中的迭代时长。
• 开发一种动态、完全分布式的机制，用于根据实时工作者性能自适应选择备份工作者。
• 从理论和实证两方面验证，动态备份选择可实现收敛过程中的线性加速，同时最小化通信开销。

提出的方法

• 将基于共识的分布式优化问题与动态备份工作者（DyBW）相结合，其中每个工作者仅在等待最快p_j个邻居后才更新其本地参数。
• 提出cb-DyBW算法，一种完全分布式的算法，根据实时通信延迟动态调整每个节点的备份工作者数量。
• 引入基于阈值的更新规则（算法2），根据观测到的更新时间确定训练过程中的最优备份工作者数量。
• 采用时变共识图，其中边表示邻居依赖关系，并使用自适应学习率η(k) = η₀·δᵏ以稳定训练过程。
• 在TensorFlow中实现该算法，使用NFS和MPI后端，支持分布式环境下的文件共享和节点间通信。
• 应用主成分分析（PCA）降低输入维度，并使用1,024的批量大小以实现高效训练。

实验结果

研究问题

• RQ1 是否可以通过动态选择备份工作者，在不增加收敛迭代次数的前提下显著减少分布式机器学习中的迭代时长？
• RQ2 与全参与共识方法相比，所提出的动态备份策略是否实现了收敛速率的线性加速？
• RQ3 备份工作者的数量如何随时间演变？是否能够基于实时工作者性能实现自适应控制？
• RQ4 动态备份选择对真实世界数据集（如MNIST和CIFAR-10）的收敛精度和实际训练时间有何影响？

主要发现

• cb-DyBW算法的收敛速率为O(1/√(NK) + 1/K)，表明当K足够大时可实现线性加速，与全参与方法的收敛速率一致。
• 与cb-Full（全参与）相比，cb-DyBW将平均迭代时长减少了65–70%，显著降低了总训练时间。
• cb-DyBW与cb-Full在收敛所需的迭代次数上处于相同数量级，证实动态备份选择不会损害收敛质量。
• 动态备份工作者的数量随时间变化，验证了所提出的基于阈值的规则对实时工作者性能的适应能力。
• 在MNIST和CIFAR-10上的实证结果表明，cb-DyBW在测试误差和训练损失方面与cb-Full相当，同时大幅减少了实际运行时间。
• 即使在工作者间数据分布非独立同分布（non-i.i.d.）的情况下，该框架仍能保持一致性和收敛性，证明了其在真实场景中的鲁棒性。