[论文解读] Staleness-aware Async-SGD for Distributed Deep Learning

Wei Zhang, Suyog Gupta+2 more|arXiv (Cornell University)|Nov 18, 2015

Advanced Neural Network Applications参考文献 16被引用 58

一句话总结

该论文提出了一种感知延迟时间的异步随机梯度下降（Async-SGD）算法，该算法根据梯度延迟时间动态调整学习率，确保收敛速度与同步SGD（SSGD）相当。该方法在CIFAR10和ImageNet基准测试中，即使在高延迟条件下，也能实现接近线性的加速比，同时保持SSGD级别的模型精度，通过理论证明其收敛速度为O(1/√T)，并在多种分布式设置下实证验证了其鲁棒性。

ABSTRACT

Deep neural networks have been shown to achieve state-of-the-art performance in several machine learning tasks. Stochastic Gradient Descent (SGD) is the preferred optimization algorithm for training these networks and asynchronous SGD (ASGD) has been widely adopted for accelerating the training of large-scale deep networks in a distributed computing environment. However, in practice it is quite challenging to tune the training hyperparameters (such as learning rate) when using ASGD so as achieve convergence and linear speedup, since the stability of the optimization algorithm is strongly influenced by the asynchronous nature of parameter updates. In this paper, we propose a variant of the ASGD algorithm in which the learning rate is modulated according to the gradient staleness and provide theoretical guarantees for convergence of this algorithm. Experimental verification is performed on commonly-used image classification benchmarks: CIFAR10 and Imagenet to demonstrate the superior effectiveness of the proposed approach, compared to SSGD (Synchronous SGD) and the conventional ASGD algorithm.

研究动机与目标

• 解决传统异步SGD在分布式深度学习中因梯度延迟导致的不稳定性和收敛性差的问题。
• 开发一种基于理论基础的、系统化的异步训练学习率调节方法，以考虑延迟时间的影响。
• 在不牺牲模型精度的前提下，实现分布式训练中的近似线性加速比，达到SSGD的性能水平。
• 通过根据延迟时间自动调节学习率，减少对人工超参数调优的依赖。

提出的方法

• 提出一种与延迟时间相关的学习率方案，其中学习率根据每个梯度更新的延迟值进行除法调整。
• 采用n-softsync协议以控制并限制系统中的最大梯度延迟，从而实现对延迟水平的细粒度调节。
• 理论上证明所提算法的收敛速度与SSGD一致，在非凸优化下可实现O(1/√T)的收敛速度。
• 使用基于CPU的高性能计算集群和高速互连，实现并评估该算法，确保延迟边界严格。
• 在CIFAR10和ImageNet训练中应用学习率调制方案，在不同延迟水平下均保持一致的性能表现。
• 采用带有学习率衰减和批量大小扩展的动量加速SGD，以在增加学习者数量时保持模型精度。

实验结果

研究问题

• RQ1 基于梯度延迟时间的学习率自适应策略是否能够稳定异步SGD，并实现与同步SGD相同的收敛速度？
• RQ2 梯度延迟时间如何影响分布式深度学习中的模型精度和收敛性？是否可以系统性地缓解这一问题？
• RQ3 感知延迟时间的学习率方案是否能够在不同数据集和模型规模下实现近似线性加速比，同时保持模型精度？
• RQ4 所提方法是否能够减少甚至消除分布式训练中对人工超参数调优的需求？

主要发现

• 在CIFAR10上，所提出的感知延迟时间异步SGD在所有n-softsync协议（n = 1至30）下均实现约18%的测试误差，与单学习者基线一致，而传统异步SGD在高延迟条件下无法收敛。
• 在ImageNet上，延迟依赖的学习率方案在所有n-softsync协议下均保持稳定的top-1验证误差（约42.56%），而固定学习率设置在n = 9和n = 18时无法收敛。
• 该算法在CIFAR10上最多支持30个学习者、在ImageNet上最多支持18个学习者时，实现了接近线性的加速比，同时保持与SSGD相当的模型精度。
• 理论分析证实，所提方法的收敛速度为O(1/√T)，即使在具有不同延迟时间的异步更新下，也与SSGD的最优收敛速度一致。
• 该方法有效消除了分布式训练中对人工学习率调优的需求，因为学习率会根据每个梯度的延迟时间自动调整。