[论文解读] Sharp Bounds for Federated Averaging (Local SGD) and Continuous Perspective

Margalit Glasgow, Honglin Yuan+1 more|arXiv (Cornell University)|Nov 5, 2021

Privacy-Preserving Technologies in Data参考文献 65被引用 10

一句话总结

本文为联邦平均（FedAvg）建立了精确的收敛边界，解决了同质与异质设置下长期存在的上下界差距问题。通过引入‘迭代偏差’概念并基于随机微分方程（SDE）视角进行分析，作者证明了现有上界无法进一步改进，并在三阶光滑性假设下，推导出凸与非凸设置下的最先进收敛速率。

ABSTRACT

Federated Averaging (FedAvg), also known as Local SGD, is one of the most popular algorithms in Federated Learning (FL). Despite its simplicity and popularity, the convergence rate of FedAvg has thus far been undetermined. Even under the simplest assumptions (convex, smooth, homogeneous, and bounded covariance), the best-known upper and lower bounds do not match, and it is not clear whether the existing analysis captures the capacity of the algorithm. In this work, we first resolve this question by providing a lower bound for FedAvg that matches the existing upper bound, which shows the existing FedAvg upper bound analysis is not improvable. Additionally, we establish a lower bound in a heterogeneous setting that nearly matches the existing upper bound. While our lower bounds show the limitations of FedAvg, under an additional assumption of third-order smoothness, we prove more optimistic state-of-the-art convergence results in both convex and non-convex settings. Our analysis stems from a notion we call iterate bias, which is defined by the deviation of the expectation of the SGD trajectory from the noiseless gradient descent trajectory with the same initialization. We prove novel sharp bounds on this quantity, and show intuitively how to analyze this quantity from a Stochastic Differential Equation (SDE) perspective.

研究动机与目标

• 弥合联邦平均（FedAvg）在同质与异质设置下现有上界与下界之间的差距。
• 确定当前FedAvg的理论分析是否完整捕捉了该算法的潜力。
• 基于‘迭代偏差’提出一种新颖的理论框架，用于分析随机梯度下降（SGD）轨迹与确定性梯度下降路径的偏离。
• 在更强的光滑性假设下（特别是三阶光滑性）推导改进的收敛速率。
• 通过随机微分方程（SDE）的连续时间视角，更深入理解FedAvg的动力学行为。

提出的方法

• 将‘迭代偏差’定义为期望SGD轨迹与无噪声梯度下降路径之间的偏离。
• 利用连续时间SDE近似来建模FedAvg算法的演化过程，从而分析迭代偏差。
• 在同质与异质设置下推导出FedAvg的精确下界，与现有上界完全匹配。
• 在三阶光滑性假设下建立新的收敛保证，优于先前结果。
• 通过矩不等式与叠缩不等式控制凸与非凸设置下的期望误差。
• 采用步长选择策略，平衡偏差、方差与光滑性项，以实现最优收敛速率。

实验结果

研究问题

• RQ1 在同质设置下，FedAvg的现有上界分析是否紧致？是否可进一步改进？
• RQ2 在标准假设（凸性、光滑性、有界方差）下，FedAvg的根本收敛极限是什么？
• RQ3 模型异质性如何影响FedAvg的收敛速率？现有上界能否被下界所匹配？
• RQ4 作为对无噪声轨迹的偏离，‘迭代偏差’能否被严格界定，并用于改进收敛性分析？
• RQ5 在何种额外光滑性假设下（如三阶光滑性），FedAvg能否实现优于以往已知结果的收敛速率？

主要发现

• 本文在同质设置下建立了FedAvg的精确下界，与最优已知上界完全一致，证明了现有上界分析无法进一步改进。
• 在异质设置下，推导出的新下界几乎与当前最优上界匹配，表明上界分析也（近乎）紧致。
• 在三阶光滑性假设下，本文在凸与非凸设置下均证明了最先进的收敛速率，优于先前结果。
• ‘迭代偏差’概念被正式定义并加以有界化，为分析FedAvg动力学提供了新的理论视角。
• 基于SDE的连续时间视角使得SGD轨迹偏离的分析更加直观且精确，从而导出更紧致的边界。
• 推导出的收敛速率包含 $\frac{HD^2}{KR}$、$\frac{\sigma D}{\sqrt{MKR}}$ 与 $\frac{H^{1/3}\sigma^{2/3}D^{4/3}}{K^{1/3}R^{2/3}}$ 等项，且在各自设置下被证明为最优。