[论文解读] On the Impact of Device and Behavioral Heterogeneity in Federated Learning

Ahmed M. Abdelmoniem, Chen-Yu Ho+3 more|arXiv (Cornell University)|Feb 15, 2021

Privacy-Preserving Technologies in Data参考文献 44被引用 12

一句话总结

本文对联邦学习（FL）中的设备异构性和行为异构性影响进行了全面的实证研究，在五个基准上评估了超过1,500种配置。研究发现，异构性可使平均模型准确率下降最多达4.6倍，公平性下降最多达2.2倍，其中设备异构性损害性能，行为异构性降低公平性。

ABSTRACT

Federated learning (FL) is becoming a popular paradigm for collaborative learning over distributed, private datasets owned by non-trusting entities. FL has seen successful deployment in production environments, and it has been adopted in services such as virtual keyboards, auto-completion, item recommendation, and several IoT applications. However, FL comes with the challenge of performing training over largely heterogeneous datasets, devices, and networks that are out of the control of the centralized FL server. Motivated by this inherent setting, we make a first step towards characterizing the impact of device and behavioral heterogeneity on the trained model. We conduct an extensive empirical study spanning close to 1.5K unique configurations on five popular FL benchmarks. Our analysis shows that these sources of heterogeneity have a major impact on both model performance and fairness, thus sheds light on the importance of considering heterogeneity in FL system design.

研究动机与目标

• 研究设备和行为异构性对联邦学习模型性能和公平性的影响。
• 识别超参数和系统配置如何在真实联邦学习部署中放大异构性的影响。
• 评估现有联邦学习算法在缓解异构性导致的性能下降和偏差方面的有效性。
• 为在生产环境中设计更鲁棒、更公平的联邦学习系统提供实证依据。

提出的方法

• 在五个标准联邦学习基准（FEMNIST、Shakespeare、Reddit、CelebA 和 Synthetic）上开展了广泛的实证评估。
• 通过改变设备能力、网络条件、客户端可用性及采样策略，配置了超过1,500种独特的训练场景。
• 使用 Flash 框架模拟了真实的设备和行为异构性，包括慢速客户端和可变连接性。
• 通过所有客户端的归一化测试准确率和使用 Jain 公平性指数衡量的公平性来测量模型性能。
• 系统性地改变学习率、批量大小、联邦聚合频率和客户端采样策略，以评估敏感性。
• 分析收敛行为，并识别在高异构性条件下出现模型发散的情况。

实验结果

研究问题

• RQ1 设备异构性如何影响联邦模型的平均准确率和公平性？
• RQ2 由客户端流失和可用性驱动的行为异构性在多大程度上会降低模型公平性？
• RQ3 在异构条件下，联邦学习训练过程对超参数选择的敏感性如何？
• RQ4 现有联邦学习算法能否有效缓解由设备和行为异构性引起的性能和公平性下降？

主要发现

• 仅设备异构性即可使平均模型准确率相比统一基线设置最多下降4.6倍。
• 行为异构性导致公平性最大下降2.2倍，以 Jain 公平性指数衡量。
• 在综合异构场景（DH + BH）中，模型性能和公平性显著下降，50% 的实验测试准确率低于基线的0.88倍。
• 异构性经常导致模型发散，在极端情况下使训练过程完全失效。
• 即使模型收敛，异构性水平与平均准确率及公平性之间也存在强烈负相关关系。
• 现有缓解算法（如 Q-FFL）在抵消设备和行为异构性导致的性能与公平性下降方面效果有限。