[论文解读] Variance-Reduced Decentralized Stochastic Optimization with Gradient Tracking

Ran Xin, Usman A. Khan+1 more|arXiv (Cornell University)|Sep 25, 2019

Stochastic Gradient Optimization Techniques被引用 13

一句话总结

该论文提出GT-SAGA，一种方差缩减的去中心化随机优化算法，结合梯度追踪（GT）与SAGA方差缩减技术，以加速去中心化经验风险最小化中的收敛速度。与现有去中心化方案相比，GT-SAGA在强凸和光滑设置下，以更少的本地梯度计算次数实现了更优性能。

ABSTRACT

In this paper, we study decentralized empirical risk minimization problems, where the goal to minimize a finite-sum of smooth and strongly-convex functions available over a network of nodes. We propose extbf{ exttt{GT-SAGA}}, a stochastic first-order algorithm based on decentralized stochastic gradient tracking methods (GT) \cite{DSGT_Pu,DSGT_Xin} and a variance-reduction technique called SAGA \cite{SAGA}. We demonstrate various trade-offs and discuss scenarios in which extbf{ exttt{GT-SAGA}} achieves superior performance (in terms of the number of local gradient computations required) with respect to existing decentralized schemes.

研究动机与目标

• 解决大规模机器学习中去中心化随机优化的收敛速度慢的问题。
• 减少在去中心化经验风险最小化中达到给定精度所需的本地梯度计算次数。
• 通过将方差缩减与梯度追踪相结合，改进现有去中心化算法，以加速收敛。
• 分析不同去中心化优化设置下通信与计算效率之间的权衡。
• 展示GT-SAGA在收敛速度和计算效率方面相较于最先进去中心化方案的优越性。

提出的方法

• 提出GT-SAGA，一种新颖的去中心化随机一阶算法，将梯度追踪（GT）与SAGA方差缩减技术相结合。
• 通过跨网络聚合梯度的追踪机制，维护全局梯度的本地估计。
• 应用SAGA方法，通过存储和更新过去梯度的运行平均值，以降低随机梯度的方差。
• 使用基于一致性（consensus-based）的更新规则，在最小化通信开销的同时同步各节点的梯度估计。
• 设计算法为完全去中心化，无需中央参数服务器或协调中心。
• 通过结合梯度追踪的稳定性与SAGA的方差缩减能力，在光滑和强凸假设下确保收敛。

实验结果

研究问题

• RQ1 将SAGA的方差缩减与梯度追踪相结合，能否提升去中心化随机优化中的收敛速度？
• RQ2 GT-SAGA在达到相同精度时，相较于现有去中心化方案，所需本地梯度计算次数如何？
• RQ3 去中心化优化中，通信成本与本地计算之间存在何种权衡？GT-SAGA如何平衡这些权衡？
• RQ4 在何种设置下，GT-SAGA在收敛速率方面优于现有去中心化算法？
• RQ5 该算法在不同网络拓扑和数据分布下表现如何？

主要发现

• GT-SAGA通过SAGA机制降低梯度方差，实现了比现有去中心化方案更快的收敛速度。
• 该算法在达到给定精度时所需本地梯度计算次数更少，表现出更优的计算效率。
• 在光滑和强凸假设下，GT-SAGA保持线性收敛速率，与理论预期一致。
• 将梯度追踪与SAGA结合，相比基线去中心化随机梯度方法，显著提升了稳定性和收敛速度。
• 在本地梯度方差较高的场景下，GT-SAGA优于其他去中心化算法。
• 该方法在各种网络拓扑和数据分布下均表现出鲁棒性，持续实现性能提升。