[论文解读] Robust Distributed Accelerated Stochastic Gradient Methods for Multi-Agent Networks

Alireza Fallah, Mert Gürbüzbalaban+3 more|arXiv (Cornell University)|Oct 19, 2019

Distributed Control Multi-Agent Systems参考文献 86被引用 24

一句话总结

该论文提出了一种鲁棒的分布式加速随机梯度（D-ASG）方法，用于在梯度噪声和通信约束下求解多智能体网络中的去中心化强凸随机优化问题。该方法建立了梯度复杂度和通信复杂度的最优收敛速率 $\mathcal{O}(\sqrt{\kappa}\log(1/\varepsilon))$，实现了加速的偏差衰减 $\mathcal{O}(-k/\sqrt{\kappa})$，并通过多阶段变体实现了精确收敛，且方差达到最优 $\mathcal{O}(\sigma^2/k)$。

ABSTRACT

We study distributed stochastic gradient (D-SG) method and its accelerated variant (D-ASG) for solving decentralized strongly convex stochastic optimization problems where the objective function is distributed over several computational units, lying on a fixed but arbitrary connected communication graph, subject to local communication constraints where noisy estimates of the gradients are available. We develop a framework which allows to choose the stepsize and the momentum parameters of these algorithms in a way to optimize performance by systematically trading off the bias, variance, robustness to gradient noise and dependence to network effects. When gradients do not contain noise, we also prove that distributed accelerated methods can \emph{achieve acceleration}, requiring $\mathcal{O}(κ\log(1/\varepsilon))$ gradient evaluations and $\mathcal{O}(κ\log(1/\varepsilon))$ communications to converge to the same fixed point with the non-accelerated variant where $κ$ is the condition number and $\varepsilon$ is the target accuracy. To our knowledge, this is the first acceleration result where the iteration complexity scales with the square root of the condition number in the context of \emph{primal} distributed inexact first-order methods. For quadratic functions, we also provide finer performance bounds that are tight with respect to bias and variance terms. Finally, we study a multistage version of D-ASG with parameters carefully varied over stages to ensure exact $\mathcal{O}(-k/\sqrtκ)$ linear decay in the bias term as well as optimal $\mathcal{O}(σ^2/k)$ in the variance term. We illustrate through numerical experiments that our approach results in practical algorithms that are robust to gradient noise and that can outperform existing methods.

研究动机与目标

• 开发一种分布式优化框架，以在具有噪声梯度的多智能体系统中平衡偏差、方差和网络效应。
• 在强凸性和有界梯度噪声条件下，实现去中心化随机梯度方法的收敛速率加速。
• 设计一种多阶段D-ASG变体，即使在存在噪声和网络约束的情况下，也能确保精确收敛到最优解。
• 为二次目标提供紧致的性能界，显式刻画偏差和方差项。
• 通过允许任意连通的网络拓扑结构，并在温和假设下实现对无界方差的鲁棒性，推广现有结果。

提出的方法

• 提出一种新颖的D-ASG算法，在固定连通网络图上结合动量和一致性步骤，采用自适应步长和动量参数选择。
• 推导一个李雅普诺夫函数 $V_{\bar{Q},\alpha}$ 以分析收敛性，利用矩阵结构和平滑性性质保证稳定性。
• 采用多阶段框架，跨阶段逐步调整参数（步长、动量），以确保精确收敛。
• 应用带扰动的梯度模型，使用满足假设1的无偏、有界方差梯度估计，从而实现对噪声的鲁棒性。
• 采用类似对偶平均的分析方法，通过变换变量 $\xi^{(k)}$ 解耦偏差与方差的动力学行为。
• 通过涉及网络效应、条件数 $\kappa$ 和噪声水平 $\sigma^2$ 的递归不等式建立收敛性。

实验结果

研究问题

• RQ1 在具有噪声梯度的去中心化多智能体网络中，分布式随机梯度方法能否实现收敛加速？
• RQ2 如何调节步长和动量参数，以最优地平衡偏差、方差和网络引起的效应？
• RQ3 在强凸性和有界梯度噪声条件下，分布式随机优化的最优收敛速率是什么？
• RQ4 D-ASG的多阶段变体能否在保持加速偏差衰减和最优方差减少的同时，确保精确收敛？
• RQ5 网络拓扑结构和通信约束如何影响加速分布式方法的收敛行为？

主要发现

• D-ASG在达到 $\varepsilon$-精度时，实现了 $\mathcal{O}(\sqrt{\kappa}\log(1/\varepsilon))$ 的梯度复杂度和通信复杂度，与理论加速边界一致。
• 对于二次目标，该方法提供了偏差和方差项的紧致界，其中偏差衰减为 $\mathcal{O}(-k/\sqrt{\kappa})$，方差为 $\mathcal{O}(\sigma^2/k)$。
• 多阶段D-ASG变体确保了对最优解的精确收敛，同时保持了加速的偏差衰减和最优的方差减少。
• 当梯度无噪声时，D-ASG实现了加速，其复杂度与集中式加速方法的下界一致。
• 该框架对梯度噪声具有鲁棒性，并在温和假设下可扩展至无界方差，如附录E中的理论扩展所示。
• 数值实验表明，所提出的方法在具有噪声梯度的实际场景中优于现有分布式方法。