[论文解读] Semi-Synchronous Federated Learning.

Dimitris Stripelis, José Luis Ambite|arXiv (Cornell University)|Feb 4, 2021

Privacy-Preserving Technologies in Data参考文献 40被引用 16

一句话总结

该论文提出了一种半同步联邦学习（SSFL）协议，通过在异构环境中定期同步本地模型并最小化空闲时间，实现了通信效率与收敛速度的平衡。该方法在收敛速度上优于异步方法，在通信效率上优于同步方法，在数据异构和计算异构环境下显著优于先前的方法。

ABSTRACT

There are situations where data relevant to a machine learning problem are distributed among multiple locations that cannot share the data due to regulatory, competitiveness, or privacy reasons. For example, data present in users' cellphones, manufacturing data of companies in a given industrial sector, or medical records located at different hospitals. Federated Learning (FL) provides an approach to learn a joint model over all the available data across silos. In many cases, participating sites have different data distributions and computational capabilities. In these heterogeneous environments previous approaches exhibit poor performance: synchronous FL protocols are communication efficient, but have slow learning convergence; conversely, asynchronous FL protocols have faster convergence, but at a higher communication cost. Here we introduce a novel Semi-Synchronous Federated Learning protocol that mixes local models periodically with minimal idle time and fast convergence. We show through extensive experiments that our approach significantly outperforms previous work in data and computationally heterogeneous environments.

研究动机与目标

• 解决在数据和计算异构环境下联邦学习中通信效率与收敛速度之间的权衡问题。
• 设计一种联邦学习协议，以在同步期间最小化空闲时间，同时保持高通信效率。
• 在客户端具有不同数据分布和计算能力的真实场景中，提升模型收敛性能。
• 通过引入混合方法，弥合同步联邦学习（高效但缓慢）与异步联邦学习（快速但成本高）之间的差距。

提出的方法

• 该协议采用混合同步策略，结合定期的全局模型聚合与本地训练阶段，以减少空闲时间。
• 客户端在固定轮次的本地训练后，将其更新后的模型与中央服务器同步。
• 系统动态管理客户端参与，以平衡负载并减少由慢速或无响应客户端引起的延迟。
• 同步以固定间隔进行，确保任意时刻仅有一部分客户端处于活动状态，从而最小化空闲时间。
• 该方法利用中心化服务器协调模型聚合与分发，确保客户端间的一致性。
• 客户端根据可用性和计算能力进行选择，以优化训练效率和收敛速度。

实验结果

研究问题

• RQ1 在异构环境中，联邦学习如何在保持低通信开销的同时实现更快的收敛？
• RQ2 何种同步策略能最小化空闲时间，并在客户端能力各异的联邦学习中提升训练效率？
• RQ3 同步与异步联邦学习的混合方法是否能在收敛速度和通信成本方面均优于两者？
• RQ4 在使用半同步同步机制时，模型性能在数据和计算异构条件下如何变化？
• RQ5 何种客户端选择与同步频率策略能最大化训练效率和模型准确率？

主要发现

• 所提出的半同步联邦学习协议在异构环境中显著优于纯异步方法，收敛速度更快。
• 通信成本明显低于异步联邦学习，接近同步协议的效率。
• 通过更有效地协调客户端参与，该协议显著减少了同步过程中的空闲时间。
• 由于更频繁且稳定的全局模型更新，模型在多样化数据分布下的准确率得到提升。
• 该方法在不同客户端计算能力下表现出稳健性能，优于同步和异步基线方法。
• 即使部分客户端速度较慢或间歇性不可用，该方法仍能保持高训练效率。