[论文解读] Toward Understanding the Impact of Staleness in Distributed Machine Learning

Wei Dai, Yi Zhou+3 more|arXiv (Cornell University)|Oct 7, 2018

Stochastic Gradient Optimization Techniques被引用 25

一句话总结

本文研究了分布式机器学习中参数延迟的影响，表明延迟显著影响多种模型和优化算法的收敛速度与稳定性。通过广泛的实验评估和基于梯度一致性的新型理论分析，作者建立了非凸优化中异步SGD的O(1/√T)收敛速率，与文献中最佳已知速率一致，并揭示梯度一致性是决定延迟敏感度的关键因素。

ABSTRACT

Many distributed machine learning (ML) systems adopt the non-synchronous execution in order to alleviate the network communication bottleneck, resulting in stale parameters that do not reflect the latest updates. Despite much development in large-scale ML, the effects of staleness on learning are inconclusive as it is challenging to directly monitor or control staleness in complex distributed environments. In this work, we study the convergence behaviors of a wide array of ML models and algorithms under delayed updates. Our extensive experiments reveal the rich diversity of the effects of staleness on the convergence of ML algorithms and offer insights into seemingly contradictory reports in the literature. The empirical findings also inspire a new convergence analysis of stochastic gradient descent in non-convex optimization under staleness, matching the best-known convergence rate of O(1/\\sqrt{T}).

研究动机与目标

• 解决关于异步训练在分布式机器学习中是否提升或阻碍收敛的矛盾实证报告。
• 将延迟对收敛的影响与硬件和软件等系统级因素分离。
• 建立一个理论框架，将梯度一致性与异步情况下的收敛性能联系起来。
• 在多种模型（CNN、DNN、LDA、VAE等）和优化算法（SGD、Adam、RMSProp等）下，实证评估延迟的影响。
• 通过识别在存在统计损失的情况下异步仍能实现实际加速的条件，为系统设计提供指导。

提出的方法

• 作者使用几何延迟分布模拟具有受控延迟水平的分布式训练，将延迟与系统波动性解耦。
• 提出一种梯度一致性度量，定义为连续梯度之间的余弦相似度，用于量化更新方向的稳定性。
• 推导出依赖于最大延迟（s）和梯度一致性的异步SGD理论收敛界，揭示步长选择中的权衡。
• 关键理论结果表明，当梯度一致性μk ≥ μ > 0时，异步SGD在非凸优化中达到O(1/√T)的收敛速率，与文献中最佳已知速率一致。
• 通过可视化ResNet和DNN模型优化路径中梯度之间的余弦相似度，验证了一致性假设。
• 实证评估涵盖6种模型上的7种算法，包括深度网络、逻辑回归、矩阵分解、LDA和VAEs，在不同延迟水平下进行。

实验结果

研究问题

• RQ1 在多种机器学习模型和算法中，延迟如何影响收敛速度和最终模型质量？
• RQ2 为何某些优化算法（如Adam）比其他算法（如SGD）对延迟更敏感？
• RQ3 梯度一致性能否解释优化算法对延迟更新的敏感性？
• RQ4 在考虑延迟和梯度一致性时，异步SGD在非凸设置下的理论收敛速率是什么？
• RQ5 在存在统计低效性的情况下，异步训练在何种条件下能实现实际的时钟时间加速？

主要发现

• 延迟在所有模型中均减缓收敛速度，其中深层模型（如ResNet）比浅层模型显著更敏感。
• 对于多分类逻辑回归等凸问题，延迟对收敛影响极小。
• 在高延迟下，Adam和RMSProp等优化算法承受远高于SGD和Adagrad的统计惩罚，后者更具鲁棒性。
• LDA的Gibbs采样在延迟达到阈值前具有高度抗延迟能力，超过该阈值后则无法收敛到固定点。
• 梯度一致性（通过连续梯度间余弦相似度度量）在优化过程中增加，解释了为何某些算法对延迟更具鲁棒性。
• 理论分析证明，当梯度一致性μk ≥ μ > 0时，异步SGD在非凸优化中实现O(1/√T)的收敛速率，与文献中最佳已知速率一致。