[论文解读] ZeroFL: Efficient On-Device Training for Federated Learning with Local Sparsity

Xinchi Qiu, Javier Fernández-Marqués+4 more|arXiv (Cornell University)|Aug 4, 2022

Privacy-Preserving Technologies in Data被引用 11

一句话总结

ZeroFL 是一种新型联邦学习框架，通过利用高达 95% 的权重和激活稀疏性，结合自适应稀疏化技术与基于 CSR 的压缩，加速设备端训练。在 90% 稀疏度下，其准确率比当前最先进基线高出最多 2.3%，同时将上行链路通信量减少 3.0 倍，且在非独立同分布（non-IID）和资源受限环境下仍保持高性能。

ABSTRACT

When the available hardware cannot meet the memory and compute requirements to efficiently train high performing machine learning models, a compromise in either the training quality or the model complexity is needed. In Federated Learning (FL), nodes are orders of magnitude more constrained than traditional server-grade hardware and are often battery powered, severely limiting the sophistication of models that can be trained under this paradigm. While most research has focused on designing better aggregation strategies to improve convergence rates and in alleviating the communication costs of FL, fewer efforts have been devoted to accelerating on-device training. Such stage, which repeats hundreds of times (i.e. every round) and can involve thousands of devices, accounts for the majority of the time required to train federated models and, the totality of the energy consumption at the client side. In this work, we present the first study on the unique aspects that arise when introducing sparsity at training time in FL workloads. We then propose ZeroFL, a framework that relies on highly sparse operations to accelerate on-device training. Models trained with ZeroFL and 95% sparsity achieve up to 2.3% higher accuracy compared to competitive baselines obtained from adapting a state-of-the-art sparse training framework to the FL setting.

研究动机与目标

• 为解决联邦学习中设备端训练的关键瓶颈，即受限设备限制了模型复杂度和训练速度。
• 研究在联邦学习中引入高稀疏性训练时面临的独特挑战，包括数据不平衡和无状态客户端问题。
• 开发一种框架，在不施加服务器端模型限制或性能下降的前提下，加速设备端训练。
• 通过稀疏模型传输降低通信成本，同时保持或提升模型准确率。
• 证明稀疏性不仅可用于提升通信效率，还可用于加速联邦学习中的训练过程。

提出的方法

• ZeroFL 在设备端训练期间引入本地稀疏化，采用三种稀疏化方法：Top-K-Weights、Top-K-Gradients 和 Top-K-Activations。
• 采用掩码比率策略控制稀疏度水平，在训练过程中动态调整非零权重的比例。
• 框架使用压缩稀疏行（CSR）格式在传输前压缩模型权重，降低通信开销。
• 在前向传播和反向传播中均应用稀疏性，通过稀疏卷积操作实现更快的训练速度。
• 通过在训练轮次间保持全局模型中零位置固定，维持全局模型一致性，提升收敛稳定性。
• 将最先进的稀疏化技术整合进联邦学习流程，同时适配处理非独立同分布数据和设备异构性问题。

实验结果

研究问题

• RQ1 在设备端训练期间引入高稀疏性（最高达 95%）对联邦学习中的模型准确率和收敛性有何影响？
• RQ2 在联邦学习中训练时应用稀疏性会引发哪些独特挑战，特别是关于数据不平衡和模型一致性方面？
• RQ3 稀疏性是否不仅能用于减少通信，还能用于加速联邦学习中的设备端训练？
• RQ4 在高稀疏度下，不同稀疏化策略（如 Top-K-Weights 与 Top-K-Gradients）对最终模型性能的影响如何？
• RQ5 在稀疏联邦学习训练中，平衡通信成本与模型准确率的最优掩码比率是多少？

主要发现

• 在 90% 稀疏度下，ZeroFL 在非独立同分布的 SpeechCommands 数据集上比竞争基线准确率高出 +2.3%，展现出显著的性能提升。
• 在 95% 稀疏度下，ZeroFL 在同一数据集上比基线准确率高出 +1.5%，表明其对极端稀疏性的鲁棒性。
• 在 CIFAR-10 数据集上，ZeroFL 在 95% 稀疏度和掩码比为 0.2 的条件下，将上行链路通信量减少 3.0 倍，同时保持比基线更高的准确率。
• 在所有数据集和稀疏度水平下，Top-K-Weights 稀疏化方法搭配掩码比 0.2 时表现最佳。
• 通信节省随掩码比增加而提升：掩码比为 0.0 时减少 7.5 倍，0.1 时减少 3.0 倍，0.2 时减少 1.9 倍，稀疏度为 95%。
• 研究发现，全局模型中的零位置在大多数训练轮次中保持稳定，支持一致的稀疏模式，从而实现高效训练。