[论文解读] Revisiting Optimal Convergence Rate for Smooth and Non-convex Stochastic Decentralized Optimization

Kun Yuan, Xinmeng Huang+4 more|arXiv (Cornell University)|Oct 14, 2022

Advanced Wireless Communication Technologies被引用 5

一句话总结

本文在一般权重矩阵下，为光滑且非凸的随机去中心化优化建立了最优收敛速率，利用环形晶格图在连通性与直径之间实现平衡。提出了一种新颖的算法 MG-DSGD，在温和条件下几乎达到了推导出的最优速率，相较于先前结果，在网络连通性和噪声依赖性方面有所改进。

ABSTRACT

Decentralized optimization is effective to save communication in large-scale machine learning. Although numerous algorithms have been proposed with theoretical guarantees and empirical successes, the performance limits in decentralized optimization, especially the influence of network topology and its associated weight matrix on the optimal convergence rate, have not been fully understood. While (Lu and Sa, 2021) have recently provided an optimal rate for non-convex stochastic decentralized optimization with weight matrices defined over linear graphs, the optimal rate with general weight matrices remains unclear. This paper revisits non-convex stochastic decentralized optimization and establishes an optimal convergence rate with general weight matrices. In addition, we also establish the optimal rate when non-convex loss functions further satisfy the Polyak-Lojasiewicz (PL) condition. Following existing lines of analysis in literature cannot achieve these results. Instead, we leverage the Ring-Lattice graph to admit general weight matrices while maintaining the optimal relation between the graph diameter and weight matrix connectivity. Lastly, we develop a new decentralized algorithm to nearly attain the above two optimal rates under additional mild conditions.

研究动机与目标

• 明确非凸随机去中心化优化的理论性能极限，特别是网络拓扑结构和权重矩阵连通性的影响。
• 填补对通用权重矩阵最优收敛速率理解的空白，因为先前工作仅针对特定 $β$ 值的线性图进行了研究。
• 开发一种新的去中心化算法，使其在温和假设下几乎达到推导出的最优收敛速率。
• 在 Polyak-Lojasiewicz (PL) 条件下建立紧致的收敛边界，改进非凸设置下的现有结果。

提出的方法

• 作者引入环形晶格图结构，以在图的直径与权重矩阵连通性之间保持有利的权衡，从而支持通用权重矩阵。
• 推导出一个依赖于 $n$, $T$, $σ^2$, 和 $β$ 的收敛速率下界，表明其在对数因子范围内是紧致的。
• 提出一种新算法 MG-DSGD，结合动量和梯度累积，以在 PL 条件下提升收敛性能。
• 分析中用更精细的量 $\tilde{\sigma}^2$ 和 $\tilde{\beta}$ 替代标准的噪声和连通性项，以反映算法动态中的有效噪声和连通性。
• 使用一种改进的分析框架推导出理论收敛边界，该框架考虑了动量、方差与网络连通性之间的相互作用。
• 证明算法的收敛性在 $T$, $n$, $\sigma^2$, 和 $\beta$ 方面与下界一致，仅在 $L$ 和 $\mu$ 依赖性上存在微小差距。

实验结果

研究问题

• RQ1 在通用权重矩阵下，光滑且非凸的随机去中心化优化的最优收敛速率是什么？
• RQ2 网络连通性度量 $\beta$ 如何影响去中心化随机优化中的收敛速率？
• RQ3 在通用权重矩阵下，能否设计一种去中心化算法几乎达到推导出的最优收敛速率？
• RQ4 Polyak-Lojasiewicz (PL) 条件如何影响去中心化非凸设置中的收敛速率？
• RQ5 动量和梯度累积对去中心化非凸优化中收敛性的影响是什么？

主要发现

• 本文为非凸随机去中心化优化建立了 $\Omega\left(\frac{\sigma}{\sqrt{nT}} + \frac{1}{T(1-\beta)^{1/2}}\right)$ 的下界，其在对数因子范围内是紧致的。
• 在 PL 条件下，上界为 $\tilde{\mathcal{O}}\left(\frac{\sigma^2 L}{\mu^2 n T} + \Delta \exp\left(-\frac{\mu \sqrt{1-\beta} T}{L}\right)\right)$，在 $T$, $n$, $\sigma^2$, 和 $\beta$ 方面与下界一致。
• 所提出的 MG-DSGD 算法几乎达到了最优速率，其收敛边界为 $\tilde{\mathcal{O}}\left(\frac{\sigma^2 L}{\mu^2 n T} + \Delta \exp\left(-\frac{\mu \sqrt{1-\beta} T}{L}\right)\right)$。
• 分析表明，有效噪声 $\tilde{\sigma}^2$ 和有效连通性 $\tilde{\beta}$ 是实现紧致收敛速率的关键，尤其是在使用动量时。
• 实验结果表明，MG-DSGD 在 CIFAR-10 和 ImageNet 上的验证准确率略优于 DeTAG 和 DSGT 等基线方法，尤其在数据异构条件下表现更优。
• 梯度累积在更高轮次时导致性能下降，表明优化速度与泛化能力之间存在权衡。