[论文解读] Taming Convergence for Asynchronous Stochastic Gradient Descent with Unbounded Delay in Non-Convex Learning

Xin Zhang, Jia Liu+1 more|arXiv (Cornell University)|May 24, 2018

Stochastic Gradient Optimization Techniques参考文献 23被引用 6

一句话总结

本文建立了异步随机梯度下降（Async-SGD）及其变体Async-SGDI在非凸优化中梯度延迟无界的收敛速率。通过引入一种结合最优性误差与异步性引起的误差的新型李雅普诺夫函数，证明了Async-SGD的收敛速率为o(1/√k)，而Async-SGDI的收敛速率为o(1/k)，表明无界的延迟不会使收敛速率劣化至同步设置下所见的数量级以下。

ABSTRACT

Understanding the convergence performance of asynchronous stochastic gradient descent method (Async-SGD) has received increasing attention in recent years due to their foundational role in machine learning. To date, however, most of the existing works are restricted to either bounded gradient delays or convex settings. In this paper, we focus on Async-SGD and its variant Async-SGDI (which uses increasing batch size) for non-convex optimization problems with unbounded gradient delays. We prove $o(1/\sqrt{k})$ convergence rate for Async-SGD and $o(1/k)$ for Async-SGDI. Also, a unifying sufficient condition for Async-SGD's convergence is established, which includes two major gradient delay models in the literature as special cases and yields a new delay model not considered thus far.

研究动机与目标

• 解决在非凸设置下，异步SGD因梯度延迟无界而缺乏收敛性分析的问题。
• 建立强于现有工作的收敛速率，后者通常仅能达到O(1/√k)的界。
• 提出Async-SGD收敛的统一充分条件，以推广现有延迟模型。
• 分析在无界延迟下使用递增小批量的Async-SGDI的性能。
• 通过在合成非凸问题上的实验验证理论发现。

提出的方法

• 提出一种新型李雅普诺夫函数，联合追踪梯度更新中的最优性误差与异步性引起的误差。
• 通过分析李雅普诺夫函数在迭代过程中的期望下降量，推导收敛速率。
• 引入对梯度延迟的广义充分条件，该条件可将文献中两种主要延迟模型作为特例涵盖。
• 将分析应用于步长衰减为O(1/(√k log k))的Async-SGD，以及使用递增小批量的Async-SGDI。
• 利用随机逼近理论与矩界控制非凸设置下陈旧梯度的影响。
• 通过低秩矩阵恢复与协方差估计的数值实验验证理论收敛速率。

实验结果

研究问题

• RQ1 当梯度延迟无界时，Async-SGD是否能在非凸优化中实现收敛？
• RQ2 何种步长调度可确保在无界延迟下Async-SGD实现o(1/√k)的收敛速率？
• RQ3 在无界延迟下，Async-SGDI的收敛速率与Async-SGD相比如何？
• RQ4 能否提出一种统一的梯度延迟假设，使其包含现有延迟模型为特例？
• RQ5 理论收敛速率是否在实际的非凸机器学习问题中成立？

主要发现

• 本文证明，当步长衰减为O(1/(√k log k))时，Async-SGD在无界梯度延迟下对非凸优化实现了o(1/√k)的收敛速率。
• 使用递增小批量的Async-SGDI在相同无界延迟设置下实现了更快的o(1/k)收敛速率。
• 提出了一种新的Async-SGD收敛的统一充分条件，可推广文献中两种主要延迟模型。
• 实验结果证实，o(1/√k)的收敛速率在实践中可实现，且Async-SGDI的收敛速度优于标准的Async-SGD。
• 数值实验表明，采用O(1/(√k log k))步长的Async-SGD收敛速率优于采用O(1/k)步长的版本。
• 理论分析在多种延迟模型（包括有界、泊松分布与系统延迟分布）下均成立，验证了其鲁棒性。