[论文解读] Towards Building a Robust and Fair Federated Learning System.

Xinyi Xu, Lingjuan Lyu|arXiv (Cornell University)|Nov 20, 2020

Privacy-Preserving Technologies in Data参考文献 20被引用 21

一句话总结

该论文提出了一种鲁棒且公平的联邦学习（RFFL）框架，通过声誉评分机制，同时解决联邦学习中的公平性与鲁棒性问题，通过奖励高贡献参与者并检测/剔除搭便车者或攻击者，而无需依赖辅助数据。RFFL在保持与标准联邦学习相当的准确率的同时，实现了高公平性，并对多种攻击类型表现出强鲁棒性。

ABSTRACT

Federated Learning (FL) has emerged as a promising practical framework for effective and scalable distributed machine learning. However, most existing FL or distributed learning frameworks have not addressed two important issues well together: collaborative fairness and robustness to non-contributing participants (e.g. free-riders, adversaries). In particular, all participants can receive the 'same' access to the global model, which is obviously unfair to the high-contributing participants. Furthermore, due to the lack of a safeguard mechanism, free-riders or malicious adversaries could game the system to access the global model for free or to sabotage it. By identifying the underlying similarity between these two issues, we investigate them simultaneously and propose a novel Robust and Fair Federated Learning (RFFL) framework which utilizes reputation scores to address both issues, thus ensuring the high-contributing participants are rewarded with high-performing models while the low- or non-contributing participants can be detected and removed. Furthermore, our approach differentiates itself by not requiring any auxiliary dataset for the reputation calculation. Extensive experiments on benchmark datasets demonstrate that RFFL achieves high fairness, is robust against several types of adversaries, delivers comparable accuracy to the conventional federated framework and outperforms the Standalone framework.

研究动机与目标

• 为解决联邦学习中的双重挑战：高贡献参与者未获充分奖励，而低贡献或非贡献者却利用系统。
• 识别联邦学习中公平性与鲁棒性问题之间的潜在相似性，以实现联合缓解。
• 设计一种框架，公平奖励贡献者，并在不依赖外部数据集进行声誉评分的情况下，检测并剔除搭便车者或攻击者。
• 在各种恶意行为下确保全局模型的准确性和安全性，同时保障活跃参与者的公平访问。

提出的方法

• RFFL框架引入了一种动态声誉评分机制，基于模型更新和训练质量评估每个客户端的贡献。
• 声誉评分通过加权聚合模型更新及其与全局模型方向的一致性，进行迭代更新。
• 声誉评分低或为负的客户端将被标记并从未来的全局模型聚合中排除。
• 声誉系统完全自包含，无需任何辅助数据集或真实标签用于训练或验证。
• 仅使用高声誉客户端的贡献来更新全局模型，从而确保公平性与鲁棒性。
• 该框架与标准联邦学习训练流程兼容，并可无缝集成到现有联邦学习系统中。

实验结果

研究问题

• RQ1 如何在不依赖辅助数据的情况下，同时提升联邦学习中的公平性与鲁棒性？
• RQ2 联邦学习中公平性与鲁棒性之间存在何种潜在关系，使得联合优化成为可能？
• RQ3 基于声誉的系统能否有效检测并排除联邦学习中的非贡献或恶意客户端？
• RQ4 与标准联邦学习及独立基线相比，所提出的RFFL框架在准确率、公平性以及对各类攻击类型的抗性方面表现如何？
• RQ5 声誉评分对模型收敛速度和客户端参与公平性有何影响？

主要发现

• RFFL通过基于声誉的加权机制，确保高贡献参与者获得性能更优的模型，从而实现高公平性。
• 该框架能有效检测并剔除搭便车者及多种类型的攻击者，显著提升系统鲁棒性。
• RFFL在基准数据集上的模型准确率与传统联邦学习相当。
• 声誉系统无需任何辅助数据集即可运行，降低了开销并提升了可部署性。
• RFFL在公平性与鲁棒性方面优于独立训练框架，同时保持了相同的准确率。
• 剔除低声誉客户端可加快模型收敛速度，并提升全局模型的泛化能力。