[论文解读] Robust Asynchronous Stochastic Gradient-Push: Asymptotically Optimal and Network-Independent Performance for Strongly Convex Functions

Alex Olshevsky, Ioannis Ch. Paschalidis+1 more|arXiv (Cornell University)|Nov 9, 2018

Stochastic Gradient Optimization Techniques参考文献 67被引用 33

一句话总结

该论文提出了一种鲁棒的异步随机梯度推进方法，用于在恶劣网络条件下（如延迟、丢包和有向通信）进行分布式优化——每个节点计算其局部函数的噪声梯度。该方法证明了其渐近收敛至集中式梯度下降的最优性能，对于具有Lipschitz连续梯度的强凸函数，实现了与网络无关的最优收敛速率。

ABSTRACT

We consider the standard model of distributed optimization of a sum of functions $F(\bz) = \sum_{i=1}^n f_i(\bz)$, where node $i$ in a network holds the function $f_i(\bz)$. We allow for a harsh network model characterized by asynchronous updates, message delays, unpredictable message losses, and directed communication among nodes. In this setting, we analyze a modification of the Gradient-Push method for distributed optimization, assuming that \begin{enumerate*}[label=( oman*)] \item node $i$ is capable of generating gradients of its function $f_i(\bz)$ corrupted by zero-mean bounded-support additive noise at each step, \item $F(\bz)$ is strongly convex, and \item each $f_i(\bz)$ has Lipschitz gradients. We show that our proposed method asymptotically performs as well as the best bounds on centralized gradient descent that takes steps in the direction of the sum of the noisy gradients of all the functions $f_1(\bz), \ldots, f_n(\bz)$ at each step.

研究动机与目标

• 解决在不可靠、异步网络中存在消息延迟、丢包和有向通信时的分布式优化挑战。
• 设计一种分布式优化算法，即使在梯度噪声和网络不可预测的情况下，也能保持最优的收敛性能。
• 在相同噪声和函数假设下，实现渐近收敛性能与集中式梯度下降一致。
• 确保算法性能独立于网络拓扑和通信动态，即使在强异步条件下亦成立。

提出的方法

• 将梯度推进方法改进以处理有向网络中的异步更新和不可靠通信。
• 引入随机梯度计算，其中每个节点生成其局部函数 $f_i(\bz)$ 的梯度，该梯度受零均值、有界支持噪声的污染。
• 维持一种基于一致性更新规则，即使存在延迟或丢失的消息，也能通过加权平均在网络中聚合梯度。
• 采用递减步长以确保在噪声梯度估计下仍能收敛。
• 使用与网络无关的收敛性分析框架，证明渐近最优性。
• 依赖全局目标函数 $F(\bz)$ 的强凸性和每个 $f_i(\bz)$ 的梯度的Lipschitz连续性，以建立收敛边界。

实验结果

研究问题

• RQ1 在存在噪声、异步和不可靠网络条件的情况下，分布式优化算法能否实现与集中式梯度下降相同的渐近收敛速率？
• RQ2 所提出方法的性能如何随网络动态（如消息延迟和丢包）变化？
• RQ3 该算法的收敛速率是否独立于底层网络拓扑和通信模式？
• RQ4 在存在异步性的情况下，对局部函数和噪声分布的何种条件足以确保最优收敛？

主要发现

• 所提出的算法渐近地实现了与使用所有噪声梯度之和的集中式梯度下降相同的收敛速率。
• 收敛速率是最优的，且独立于网络结构，即使在任意消息延迟和丢包条件下亦成立。
• 该方法在异步更新和有向通信下仍能保持收敛，且无需同步或可靠的消息传递机制。
• 分析表明，该算法的性能被限制在与集中式随机梯度下降相同的理论极限内。
• 在 $F(\bz)$ 的强凸性和每个 $f_i(\bz)$ 的梯度Lipschitz连续性假设下，可保证收敛。