[论文解读] Theoretical Limits of Pipeline Parallel Optimization and Application to Distributed Deep Learning

Igor Colin, Ludovic Dos Santos+1 more|arXiv (Cornell University)|Oct 11, 2019

Stochastic Gradient Optimization Techniques被引用 5

一句话总结

本文建立了分布式深度学习中流水线并行优化的理论极限，提出了一种针对非光滑问题的流水线并行随机平滑（PPRS）方法。PPRS通过随机采样平滑梯度，实现接近最优的收敛速度，加速了与深度相关的组件，并在小样本和对抗性学习设置下，于数据有限的情况下优于GD和AGD。

ABSTRACT

We investigate the theoretical limits of pipeline parallel learning of deep learning architectures, a distributed setup in which the computation is distributed per layer instead of per example. For smooth convex and non-convex objective functions, we provide matching lower and upper complexity bounds and show that a naive pipeline parallelization of Nesterov's accelerated gradient descent is optimal. For non-smooth convex functions, we provide a novel algorithm coined Pipeline Parallel Random Smoothing (PPRS) that is within a $d^{1/4}$ multiplicative factor of the optimal convergence rate, where $d$ is the underlying dimension. While the convergence rate still obeys a slow $\varepsilon^{-2}$ convergence rate, the depth-dependent part is accelerated, resulting in a near-linear speed-up and convergence time that only slightly depends on the depth of the deep learning architecture. Finally, we perform an empirical analysis of the non-smooth non-convex case and show that, for difficult and highly non-smooth problems, PPRS outperforms more traditional optimization algorithms such as gradient descent and Nesterov's accelerated gradient descent for problems where the sample size is limited, such as few-shot or adversarial learning.

研究动机与目标

• 理论分析分布式深度学习中流水线并行优化的极限。
• 解决在小样本或对抗性学习等训练数据有限场景下，非光滑、非凸优化的挑战。
• 设计一种新算法，实现在流水线并行设置下对非光滑目标的加速收敛。
• 通过实验验证所提方法在高度非光滑场景下相对于标准优化算法的优越性。

提出的方法

• 提出一种新颖的算法——流水线并行随机平滑（PPRS），在流水线并行的分布式设置中对梯度估计应用随机平滑。
• 通过在当前参数周围进行梯度的蒙特卡洛采样，对目标函数进行平滑，以减少非光滑性的影响。
• 提出一种深度感知的收敛性分析，表明PPRS在非光滑凸函数上的收敛速率与最优速率相差一个$d^{1/4}$因子。
• 采用分布式计算模型，其中每一层并行计算次梯度，并通过有界延迟信道进行通信。
• 以深度$ abla$、维度$d$和问题参数为基准分析收敛复杂度，推导出$Oig(( ext{depth})^2 m + rac{RL}{ heta} abla d^{1/4}ig)$的上界。
• 通过建模计算和通信延迟来模拟流水线并行，每次迭代耗时与$T(K + abla - 1)$成正比，其中$K$为梯度采样数。

实验结果

研究问题

• RQ1 对于光滑和非光滑凸函数，流水线并行优化的理论收敛极限是什么？
• RQ2 随机平滑能否在流水线并行的分布式设置中有效应用，以加速非光滑问题的收敛？
• RQ3 计算图的深度如何影响流水线并行优化中的收敛速率？
• RQ4 在哪些场景（如小样本、对抗性学习）中，PPRS优于标准优化算法（如GD和AGD）？

主要发现

• 对于非光滑凸函数，PPRS的收敛速率与最优速率相差一个$d^{1/4}$倍因子，显著提升了与深度相关的收敛性能。
• PPRS在深度相关项中的收敛速率得到加速，实现了与网络深度近乎线性的加速。
• 在对抗性攻击实验中，使用$K=10$或$K=100$样本的PPRS比GD和AGD收敛更快且更稳定，尤其在提高学习率时表现更优。
• 当$K=2$且学习率较高（$10^{-3}$）时，PPRS发散；但使用$K=10$并提高学习率（$10^{-3}$）时可收敛，表明更多采样提升了稳定性。
• GD和AGD需分别使用较小的学习率（$10^{-5}$和$10^{-7}$）才能收敛，导致收敛速度慢于PPRS。
• 在高度非光滑问题（如$l_\infty$-约束的对抗性攻击）中，尤其在数据量较小时，PPRS在收敛速度上优于GD和AGD。