[论文解读] Optimal Accelerated Variance Reduced EXTRA and DIGing for Strongly Convex and Smooth Decentralized Optimization

Huan Li, Zhouchen Lin+1 more|arXiv (Cornell University)|Sep 9, 2020

Stochastic Gradient Optimization Techniques参考文献 19被引用 15

一句话总结

本文提出了 EXTRA 和 DIGing 算法的加速方差减少变体，用于去中心化机器学习，同时实现了最优的随机梯度和通信复杂度。通过将方差减少与去中心化优化相结合，该方法在性能上达到单机方差减少方法的最佳水平，并在通信效率上达到全批量去中心化方法的最佳水平。

ABSTRACT

We study stochastic decentralized optimization for the problem of training machine learning models with large-scale distributed data. We extend the famous EXTRA and DIGing methods with accelerated variance reduction (VR), and propose two methods, which require the time of $O((\sqrt{n\kappa_s}+n)\log\frac{1}{\epsilon})$ stochastic gradient evaluations and $O(\sqrt{\kappa_b\kappa_c}\log\frac{1}{\epsilon})$ communication rounds to reach precision $\epsilon$, where $\kappa_s$ and $\kappa_b$ are the stochastic condition number and batch condition number for strongly convex and smooth problems, $\kappa_c$ is the condition number of the communication network, and $n$ is the sample size on each distributed node. Our stochastic gradient computation complexity is the same as the single-machine accelerated variance reduction methods, such as Katyusha, and our communication complexity is the same as the accelerated full batch decentralized methods, such as MSDA, and they are both optimal. We also propose the non-accelerated VR based EXTRA and DIGing, and provide explicit complexities, for example, the $O((\kappa_s+n)\log\frac{1}{\epsilon})$ stochastic gradient computation complexity and the $O((\kappa_b+\kappa_c)\log\frac{1}{\epsilon})$ communication complexity for the VR based EXTRA. The two complexities are also the same as the ones of single-machine VR methods, such as SAG, SAGA, and SVRG, and the non-accelerated full batch decentralized methods, such as EXTRA, respectively.

研究动机与目标

• 为解决大规模机器学习中去中心化随机优化的最优收敛速率挑战。
• 通过结合单机加速方差减少与去中心化全批量方法的优势，弥合两者之间的差距。
• 设计新型去中心化算法，同时实现最优的随机梯度评估与通信复杂度。
• 为基于方差减少的 EXTRA 和 DIGing 的加速与非加速变体提供明确的复杂度界。

提出的方法

• 通过将方差减少技术扩展至 EXTRA 和 DIGing，提出 AVRG-EXTRA 和 AVRG-DIGing。
• 引入一种新颖的加速机制，将动量与去中心化环境中的方差减少相结合。
• 采用时变步长与梯度追踪，以在去中心化网络中稳定收敛。
• 使用条件数 $κ_s$（随机）、$κ_b$（批量）和 $κ_c$（网络通信）推导理论复杂度界。
• 采用混合更新规则，通过加权平均平衡本地梯度计算与全局一致性。
• 分析加速与非加速变体，分别为每种情况提供独立的复杂度保证。

实验结果

研究问题

• RQ1 能否有效将方差减少与去中心化优化结合，以实现最优收敛速率？
• RQ2 所提出的 AVRG-EXTRA 和 AVRG-DIGing 方法是否达到单机加速方差减少方法的最佳已知复杂度？
• RQ3 新方法的通信复杂度是否与全批量加速去中心化算法（如 MSDA）相当？
• RQ4 在去中心化方差减少设置中，随机梯度评估与通信轮次之间的显式权衡是什么？
• RQ5 非加速变体与经典方法（如 SAG、SAGA、EXTRA 和 SVRG）在复杂度方面相比如何？

主要发现

• 基于加速方差减少的 EXTRA 和 DIGing 实现了 $O((\sqrt{n\kappa_s}+n)\log\frac{1}{\epsilon})$ 次随机梯度评估，与单机 Katyusha 方法性能一致。
• 通信复杂度为 $O(\sqrt{\kappa_b\kappa_c}\log\frac{1}{\epsilon})$，与全批量加速方法（如 MSDA）的最优速率一致。
• 非加速基于方差减少的 EXTRA 实现了 $O((\kappa_s+n)\log\frac{1}{\epsilon})$ 次随机梯度评估，与 SAG、SAGA 和 SVRG 一致。
• 非加速基于方差减少的 EXTRA 实现了 $O((\kappa_b+\kappa_c)\log\frac{1}{\epsilon})$ 次通信轮次，与原始 EXTRA 方法的复杂度一致。
• 加速与非加速变体在梯度评估与通信方面均达到最优复杂度，建立了新的理论基准。
• 所提出的方法是首个在去中心化强凸与光滑优化中同时实现最优随机梯度与通信复杂度的方法。