[论文解读] Tighter Theory for Local SGD on Identical and Heterogeneous Data

Ahmed Khaled, Konstantin Mishchenko+1 more|arXiv (Cornell University)|Sep 10, 2019

Machine Learning and Algorithms参考文献 38被引用 39

一句话总结

本论文给出在相同数据和异质数据两种情形下的 Local SGD 收敛性分析，提供更紧的界、最优步长以及本地更新次数的最优值，并给出针对异质数据定制的方差度量。

ABSTRACT

We provide a new analysis of local SGD, removing unnecessary assumptions and elaborating on the difference between two data regimes: identical and heterogeneous. In both cases, we improve the existing theory and provide values of the optimal stepsize and optimal number of local iterations. Our bounds are based on a new notion of variance that is specific to local SGD methods with different data. The tightness of our results is guaranteed by recovering known statements when we plug $H=1$, where $H$ is the number of local steps. The empirical evidence further validates the severe impact of data heterogeneity on the performance of local SGD.

研究动机与目标

• 在相同数据和异质数据情形下提升对 Local SGD 的理解。
• 推导更快、更紧的收敛性和通信界限的 Local SGD。
• 引入在 Local SGD 分析中捕捉数据异质性的方差量度。
• 为不同数据情形提供关于最优同步区间 H 和步长的指南。

提出的方法

• 将 Local SGD 建模为两种数据情形（相同数据和异质数据）并定义相应的随机梯度。
• 引入新的方差量度 sigma_opt^2 和 sigma_dif^2，用以量化最优点处的随机性与数据异质性。
• 证明平均迭代量的递推界，并分析来自时期平均的偏差 V_t。
• 在两种数据情形下对强凸性和凸性条件下推导迭代复杂度和通信复杂度结果。
• 表明 Local SGD 在加性误差项受 H 控制的情况下与小批量 SGD 相匹配，当 H=1 或 H=T 时可得到已知结果。
• 在逻辑回归上提供实证验证，以说明异质性效应。

实验结果

研究问题

• RQ1 在相同数据下，若不作过多限制假设，Local SGD 能达到怎样的收敛速率？
• RQ2 数据异质性如何影响 Local SGD 的性能，是否能在不假设强烈差异性的前提下量化这一影响？
• RQ3 在两种数据情形下，平衡计算和通信的最优步长和同步区间 H 是多少？
• RQ4 新的方差概念是否能准确捕捉异质性并带来紧凑、实用的界？

主要发现

• 在强凸性的相同数据情境下，Local SGD 实现了改进的迭代复杂度，并且在合适的 H 下可以呈现线性加速。
• 在异质数据情境下，Local SGD 以一个随异质性通过 sigma_dif^2 放大的加性误差收敛，捕捉真实的数据差异。
• 提出新的方差量度 sigma_opt^2（相同数据）和 sigma_dif^2（异质数据），用于量化最优点处的随机性和数据多样性。
• 分析在 H 较大时恢复一次性平均行为，并展示 H 如何控制额外误差项，从而在适当调优下实现小批量 SGD 的收敛。
• 实验上，异质性显著影响收敛速度，验证了数据多样性对 Local SGD 的理论影响。