[论文解读] On the Convergence of Nested Decentralized Gradient Methods with Multiple Consensus and Gradient Steps

Albert S. Berahas, Raghu Bollapragada+1 more|arXiv (Cornell University)|May 31, 2020

Distributed Control Multi-Agent Systems参考文献 67被引用 13

一句话总结

该论文将 NEAR-DGD 算法推广至允许在每次迭代中执行多个梯度步和共识步的场景，在使用递减的梯度步数与递增的共识步数且步长固定的情况下，证明了对精确解的 R-线性收敛性，为联邦学习中的多局部步方法提供了理论依据，并支持基于成本的算法设计。

ABSTRACT

In this paper, we consider minimizing a sum of local convex objective functions in a distributed setting, where the cost of communication and/or computation can be expensive. We extend and generalize the analysis for a class of nested gradient-based distributed algorithms (NEAR-DGD; Berahas, Bollapragada, Keskar and Wei, 2018) to account for multiple gradient steps at every iteration. We show the effect of performing multiple gradient steps on the rate of convergence and on the size of the neighborhood of convergence, and prove R-Linear convergence to the exact solution with a fixed number of gradient steps and increasing number of consensus steps. We test the performance of the generalized method on quadratic functions and show the effect of multiple consensus and gradient steps in terms of iterations, number of gradient evaluations, number of communications and cost.

研究动机与目标

• 填补在每次迭代中执行多个梯度步的去中心化算法收敛性分析方面的空白。
• 研究在分布式优化中，收敛速率、邻域大小与通信/计算成本之间的权衡。
• 为联邦学习中广泛采用多个局部梯度步的方法提供理论依据。
• 构建一个灵活的框架，允许根据特定应用的成本结构自适应调整共识步与梯度步的数量。
• 确定在固定步长和动态步数配置下，实现对精确解的 R-线性收敛的条件。

提出的方法

• 提出一种广义嵌套算法 NEAR-DGDtc,tg，该算法在每次迭代中执行 tc(k) 次共识步和 tg(k) 次梯度步。
• 使用共识算子 W⊗Ip 来在网络中强制各局部变量达成一致。
• 采用梯度算子 T[x] = x − α∇f(x) 使用局部梯度更新局部变量。
• 引入一种框架，其中共识步数随时间增加，而梯度步数减少，从而实现精确收敛。
• 通过李雅普诺夫函数分析收敛性，并对共识矩阵 W 的次大特征值 β 进行有界处理。
• 推导出在强凸性和固定步长条件下，算法实现对精确解的 R-线性收敛的条件。

实验结果

研究问题

• RQ1 在每次迭代中执行多个梯度步如何影响去中心化梯度方法的收敛速率和邻域大小？
• RQ2 当使用多个梯度步时，能否在固定步长下实现对精确解的 R-线性收敛？
• RQ3 变化共识步与梯度步的数量对整体优化成本（迭代次数、通信次数、梯度计算次数）有何影响？
• RQ4 在何种条件下，算法收敛于精确解而非解的邻域？
• RQ5 在实际应用中，如何根据不同的成本结构（如计算昂贵 vs. 通信昂贵）对算法进行适配？

主要发现

• 当每次迭代中的梯度步数随时间递减、共识步数递增时，该方法可实现对精确解的 R-线性收敛。
• 多个梯度步显著加快了初始收敛速率，该结论在二次问题上的实验中得到验证。
• 采用固定共识步数的方法仅收敛至解的邻域，而增加共识步数可实现精确收敛。
• 实用变体 NEAR-DGD+((1,−),(1,k)) 在梯度计算昂贵时表现最佳（例如，cg = 100, cc = 1），相比标准 DGD 可将成本降低高达 100 倍。
• 当通信成本昂贵时（cc = 100, cg = 1），标准 DGD 和 NEAR-DGD((1,−),(1,−)) 方法优于多梯度步变体。
• 理论分析证实，当固定梯度步数大于 1 时，无法实现精确收敛，与近期联邦学习中的发现一致。