[论文解读] Variance Reduced EXTRA and DIGing and Their Optimal Acceleration for Strongly Convex Decentralized Optimization

Huan Li, Zhouchen Lin+1 more|arXiv (Cornell University)|Sep 9, 2020

Stochastic Gradient Optimization Techniques参考文献 52被引用 23

一句话总结

本文提出了去中心化优化算法 EXTRA 和 DIGing 的方差缩减与加速变体——VR-EXTRA、VR-DIGing、Acc-VR-EXTRA 和 Acc-VR-DIGing，在强凸问题中实现了随机梯度评估与通信轮次的最优收敛速率。加速方法达到了单机与全批量去中心化方法的最佳已知复杂度，使其成为首个同时优化通信与计算效率的梯度型算法。

ABSTRACT

We study stochastic decentralized optimization for the problem of training machine learning models with large-scale distributed data. We extend the widely used EXTRA and DIGing methods with variance reduction (VR), and propose two methods: VR-EXTRA and VR-DIGing. The proposed VR-EXTRA requires the time of $O((κ_s+n)\log\frac{1}ε)$ stochastic gradient evaluations and $O((κ_b+κ_c)\log\frac{1}ε)$ communication rounds to reach precision $ε$, which are the best complexities among the non-accelerated gradient-type methods, where $κ_s$ and $κ_b$ are the stochastic condition number and batch condition number for strongly convex and smooth problems, respectively, $κ_c$ is the condition number of the communication network, and $n$ is the sample size on each distributed node. The proposed VR-DIGing has a little higher communication cost of $O((κ_b+κ_c^2)\log\frac{1}ε)$. Our stochastic gradient computation complexities are the same as the ones of single-machine VR methods, such as SAG, SAGA, and SVRG, and our communication complexities keep the same as those of EXTRA and DIGing, respectively. To further speed up the convergence, we also propose the accelerated VR-EXTRA and VR-DIGing with both the optimal $O((\sqrt{nκ_s}+n)\log\frac{1}ε)$ stochastic gradient computation complexity and $O(\sqrt{κ_bκ_c}\log\frac{1}ε)$ communication complexity. Our stochastic gradient computation complexity is also the same as the ones of single-machine accelerated VR methods, such as Katyusha, and our communication complexity keeps the same as those of accelerated full batch decentralized methods, such as MSDA.

研究动机与目标

• 解决大规模分布式数据下去中心化机器学习中全批量梯度计算带来的高计算成本问题。
• 通过在去中心化随机优化中实现最优的随机梯度评估次数与通信轮次，弥合收敛复杂度的差距。
• 在保持最优收敛速率的前提下，将广泛使用的 EXTRA 和 DIGing 算法扩展为具有方差缩减与加速机制的版本。
• 设计仅依赖本地节点参数的实用算法，避免对网络结构或其他节点的全局知识依赖。
• 探究是否可将 DIGing 的通信复杂度从 O((κ_b + κ_c²) log(1/ε)) 改进至 O((κ_b + κ_c) log(1/ε))

提出的方法

• 通过在 EXTRA 和 DIGing 框架中引入方差缩减，提出 VR-EXTRA 和 VR-DIGing，利用本地梯度追踪与采样技术降低随机梯度的方差。
• 采用改进的基于一致性更新规则，在保持全局收敛性的同时，通过记忆历史梯度降低每轮迭代的梯度方差。
• 通过分析网络条件数 κ_c 与批量条件数 κ_b，推导通信复杂度上界，表明 VR-EXTRA 的复杂度为 O((κ_b + κ_c) log(1/ε))，而 VR-DIGing 的复杂度为 O((κ_b + κ_c²) log(1/ε))。
• 提出使用 Nesterov 风格动量与方差缩减动量步长的加速变体，实现 O(√(nκ_s) + n) 次随机梯度评估与 O(√(κ_b κ_c) log(1/ε)) 次通信轮次。
• 设计依赖于本地节点属性（L_(i), μ_(i)）的参数设置，以提升实用性，减少对全局网络知识的依赖。
• 通过增广拉格朗日与梯度追踪的重表述，使在强凸性与光滑性假设下实现收敛性分析成为可能。

实验结果

研究问题

• RQ1 能否有效将方差缩减集成到 EXTRA 和 DIGing 中，以实现与单机方差缩减方法相匹配的最优随机梯度评估复杂度？
• RQ2 VR-DIGing 的通信复杂度能否改进至与 VR-EXTRA 相当，即从 O((κ_b + κ_c²) log(1/ε)) 降低至 O((κ_b + κ_c) log(1/ε))？
• RQ3 VR-EXTRA 与 VR-DIGing 的加速变体是否能同时实现最优的随机梯度与通信复杂度？
• RQ4 所提出的加速方法是否能与最先进的全批量去中心化算法（如 MSDA）达到相同的收敛速率，同时保持随机方法的效率？
• RQ5 为何理论上最优的 Acc-VR-EXTRA-CA 与 Acc-VR-DIGing-CA 变体在实践中表现不佳，尽管其复杂度匹配下界？

主要发现

• VR-EXTRA 实现了 O((κ_s + n) log(1/ε)) 次随机梯度评估与 O((κ_b + κ_c) log(1/ε)) 次通信轮次，与最优非加速复杂度一致。
• VR-DIGing 的通信复杂度为 O((κ_b + κ_c²) log(1/ε))，由于 DIGing 中梯度追踪结构的影响，略高于 VR-EXTRA。
• 加速变体 Acc-VR-EXTRA 与 Acc-VR-DIGing 实现了 O((√(nκ_s) + n) log(1/ε)) 次随机梯度评估与 O(√(κ_b κ_c) log(1/ε)) 次通信轮次，与单机与全批量方法的下界完全匹配。
• 实验表明，Acc-VR-EXTRA 在通信成本上与最优全批量 APAPC 方法表现相似，证实了其理论通信复杂度的等价性。
• 当 κ_s ≫ n 时，加速方法显著优于非加速版本；但当 κ_s ≈ 10n 时，性能提升有限，表明加速机制在高条件数场景下效果最佳。
• 尽管 Acc-VR-EXTRA-CA 与 Acc-VR-DIGing-CA 在理论上最优，但实践中表现不佳，主要由于对参数调优敏感，表明理论与实际部署之间存在差距。