[论文解读] On the Convergence of Federated Averaging with Cyclic Client Participation

Yae Jee Cho, Pranay Sharma+4 more|arXiv (Cornell University)|Feb 6, 2023

Privacy-Preserving Technologies in Data被引用 7

一句话总结

本文首次对在周期性客户端参与条件下联邦平均（FedAvg）的理论分析进行了研究，其中由于电池和网络等实际限制，客户端以循环模式参与训练。结果表明，在适当条件下，周期性参与可实现比均匀采样更快的渐近收敛速度，为设计现实联邦学习系统中高效客户端采样协议提供了新见解。

ABSTRACT

Federated Averaging (FedAvg) and its variants are the most popular optimization algorithms in federated learning (FL). Previous convergence analyses of FedAvg either assume full client participation or partial client participation where the clients can be uniformly sampled. However, in practical cross-device FL systems, only a subset of clients that satisfy local criteria such as battery status, network connectivity, and maximum participation frequency requirements (to ensure privacy) are available for training at a given time. As a result, client availability follows a natural cyclic pattern. We provide (to our knowledge) the first theoretical framework to analyze the convergence of FedAvg with cyclic client participation with several different client optimizers such as GD, SGD, and shuffled SGD. Our analysis discovers that cyclic client participation can achieve a faster asymptotic convergence rate than vanilla FedAvg with uniform client participation under suitable conditions, providing valuable insights into the design of client sampling protocols.

研究动机与目标

• 为填补FedAvg在现实客户端参与模式（特别是周期性可用性）下的理论收敛分析空白。
• 对由设备级约束（如电池和网络状态）驱动的周期性客户端参与对FedAvg收敛的影响进行建模与分析。
• 比较FedAvg在周期性与均匀客户端采样下的收敛行为，尤其关注不同客户端优化器（GD、SGD、洗牌SGD）的影响。
• 为周期性参与在实践中优于均匀采样的原因提供理论依据。

提出的方法

• 作者构建了一个理论框架，用于分析周期性客户端参与下FedAvg的收敛性，将客户端可用性建模为周期性序列。
• 推导了使用不同客户端优化器（包括梯度下降（GD）、随机梯度下降（SGD）和洗牌SGD）时FedAvg的收敛边界。
• 分析中引入了关于客户端数据分布、损失函数光滑性以及有界梯度的假设，以确保理论严谨性。
• 该框架考虑了非独立同分布（non-iid）数据，并允许客户端在不同轮次中以不同频率参与。
• 通过分析全局目标函数随时间的期望下降量，推导出收敛速率。
• 通过与均匀采样进行比较，验证了理论结果，突出了周期性参与实现更快收敛的条件。

实验结果

研究问题

• RQ1 FedAvg在周期性客户端参与下是否能实现比均匀客户端参与更快的收敛？
• RQ2 客户端优化器的选择（GD、SGD、洗牌SGD）如何影响周期性参与下的收敛性？
• RQ3 在何种条件下，周期性客户端参与相比均匀采样能带来更优的渐近收敛速率？
• RQ4 当客户端可用性呈现周期性非均匀模式时，对FedAvg可提供哪些理论保证？

主要发现

• 在适当条件下（如有利的数据分布和有界梯度），周期性客户端参与可实现比均匀客户端参与更快的渐近收敛速率。
• 当客户端优化器为洗牌SGD时，收敛速率的提升尤为显著，因其能有效降低客户端更新的方差。
• 理论框架表明，周期性客户端可用性并不会固有地损害收敛性，当周期与数据多样性相匹配时甚至可能提升收敛性能。
• 分析揭示，收敛速率取决于客户端参与频率、数据异质性与优化器选择之间的相互作用。
• 对于GD和SGD，当周期长度与客户端间数据分布模式相匹配时，周期性参与可优于均匀采样。
• 结果表明，客户端采样协议应设计为利用周期性模式，而非假设i.i.d.或均匀采样。