[论文解读] Stochastic Sign Descent Methods: New Algorithms and Better Theory

Mher Safaryan, Peter Richtárik|arXiv (Cornell University)|May 30, 2019

Stochastic Gradient Optimization Techniques参考文献 36被引用 4

一句话总结

本文提出了一种新型基于符号的优化方法——带动量的随机符号下降（SSDM），在标准有界方差假设下实现了分布式训练中的收敛性，解决了signSGD中的一个根本性缺陷。该方法提出了一种新的梯度范数和理论框架，使得在使用1-bit压缩和小批量训练时能够实现最优收敛速率。

ABSTRACT

Various gradient compression schemes have been proposed to mitigate the communication cost in distributed training of large scale machine learning models. Sign-based methods, such as signSGD, have recently been gaining popularity because of their simple compression rule and connection to adaptive gradient methods, like ADAM. In this paper, we analyze sign-based methods for non-convex optimization in three key settings: (i) standard single node, (ii) parallel with shared data and (iii) distributed with partitioned data. For single machine case, we generalize the previous analysis of signSGD relying on intuitive bounds on success probabilities and allowing even biased estimators. Furthermore, we extend the analysis to parallel setting within a parameter server framework, where exponentially fast noise reduction is guaranteed with respect to number of nodes, maintaining $1$-bit compression in both directions and using small mini-batch sizes. Next, we identify a fundamental issue with signSGD to converge in distributed environment. To resolve this issue, we propose a new sign-based method, {\em Stochastic Sign Descent with Momentum (SSDM)}, which converges under standard bounded variance assumption with the optimal asymptotic rate. We validate several aspects of our theoretical findings with numerical experiments.

研究动机与目标

• 解决在数据分区的分布式设置下，signSGD缺乏理论收敛保证的问题。
• 开发一种基于符号的方法，在保持1-bit压缩的同时，于标准假设下实现最优收敛速率。
• 为单机、并行和分布式设置下的基于符号的方法提供统一的理论框架。
• 克服基于符号优化中梯度估计偏差和非均匀成功概率的问题。
• 通过在Rosenbrock函数和MNIST数据集上使用FNN的实验，验证理论结论。

提出的方法

• 提出一种用于测量梯度的新ρ-范数，该范数推广了l¹和l²范数，使得能够进行更紧密的收敛性分析。
• 提出一种新颖的算法——带动量的随机符号下降（SSDM），结合基于符号的更新与动量，以稳定训练过程。
• 使用成功概率界限（SPB）作为关键理论工具，分析在非独立同分布和偏斜梯度分布下的收敛性。
• 采用参数服务器框架来建模并行和分布式训练，实现随着节点数增加而指数级降低噪声。
• 在有界方差和温和光滑性假设下推导收敛速率，显式依赖于梯度成功概率。
• 在分布式设置中采用多数投票机制以提高鲁棒性，同时在双向通信中保持1-bit压缩。

实验结果

研究问题

• RQ1 基于符号的方法是否能在数据分区和1-bit压缩的分布式训练中实现最优收敛速率？
• RQ2 signSGD在何种理论条件下会失效收敛，如何加以修正？
• RQ3 成功概率界限（SPB）如何影响基于符号的方法的收敛行为？
• RQ4 基于动量的符号方法是否能在标准有界方差假设下保持收敛，同时处理偏差估计？
• RQ5 小批量大小和梯度分布的选择如何塑造基于符号方法的收敛动力学？

主要发现

• 在标准有界方差假设下，SSDM实现了O(1/K¹/⁴)的收敛速率，与非凸优化中已知的最佳速率一致。
• 所提出的ρ-范数使得即使在存在偏差梯度估计和非独立同分布梯度的情况下，也能对基于符号的方法进行收敛性分析。
• 在共享数据的并行设置中，随着节点数增加，噪声实现指数级减少，同时保持1-bit压缩。
• 数值实验表明，当满足成功概率界限时，signSGD在多峰和偏斜梯度分布下仍能收敛。
• 与SGD相比，该方法在早期训练中表现出更高的效率，尤其在成功概率较高且小批量大小较小时。
• 较大的小批量大小能带来更好的收敛性能，与成功概率和小批量大小依赖关系的理论边界一致。