[论文解读] RC-SSFL: Towards Robust and Communication-efficient Semi-supervised Federated Learning System.

Yi Liu, Xingliang Yuan+3 more|arXiv (Cornell University)|Dec 8, 2020

Privacy-Preserving Technologies in Data参考文献 53被引用 14

一句话总结

RC-SSFL 提出了一种鲁棒且通信高效的半监督联邦学习系统，仅使用客户端的无标签数据和有限的服务器标签数据即可训练出高质量的全局模型，同时通过极小化-极大化客户端选择和几何中位数聚合方法抵御投毒攻击，在通信开销减少 2 倍至 4 倍的情况下实现了与标准联邦学习相当的性能。

ABSTRACT

Federated Learning (FL) is an emerging decentralized artificial intelligence paradigm, which promises to train a shared global model in high-quality while protecting user data privacy. However, the current systems rely heavily on a strong assumption: all clients have a wealth of ground truth labeled data, which may not be always feasible in the real life. In this paper, we present a practical Robust, and Communication-efficient Semi-supervised FL (RC-SSFL) system design that can enable the clients to jointly learn a high-quality model that is comparable to typical FL's performance. In this setting, we assume that the client has only unlabeled data and the server has a limited amount of labeled data. Besides, we consider malicious clients can launch poisoning attacks to harm the performance of the global model. To solve this issue, RC-SSFL employs a minimax optimization-based client selection strategy to select the clients who hold high-quality updates and uses geometric median aggregation to robustly aggregate model updates. Furthermore, RC-SSFL implements a novel symmetric quantization method to greatly improve communication efficiency. Extensive case studies on two real-world datasets demonstrate that RC-SSFL can maintain the performance comparable to typical FL in the presence of poisoning attacks and reduce communication overhead by $2 imes \sim 4 imes $.

研究动机与目标

• 为解决标准联邦学习在客户端需要大量标签数据这一实际限制，实现仅使用客户端无标签数据和服务器有限标签数据的训练。
• 增强系统在模型聚合过程中抵御恶意客户端发起投毒攻击的鲁棒性。
• 在不牺牲模型性能的前提下降低联邦学习中的通信成本。
• 设计一种在真实数据和威胁环境下仍能保持高模型准确率的系统。

提出的方法

• 采用基于极小化-极大化优化的客户端选择策略，识别贡献高质量模型更新的客户端。
• 使用几何中位数聚合方法，稳健地整合模型更新，有效抵抗投毒攻击。
• 引入一种新颖的对称量化方法，压缩模型更新，降低通信开销。
• 通过在客户端无标签数据和服务器少量标签数据上进行训练，利用半监督学习原理。
• 设计一种系统架构，将客户端选择、鲁棒聚合与通信高效量化整合为统一框架。
• 在去中心化联邦学习设置下运行，客户端本地训练，仅与服务器交换模型更新。

实验结果

研究问题

• RQ1 当客户端仅有无标签数据且服务器仅有少量标签数据时，联邦学习系统能否实现与标准联邦学习相当的性能？
• RQ2 在半监督设置下，如何使联邦学习系统具备抵御恶意客户端投毒攻击的能力？
• RQ3 在不降低模型准确率的前提下，半监督联邦学习中的通信效率最多可提升多少？
• RQ4 在低标签数据环境下，何种客户端选择与聚合策略能最佳平衡鲁棒性与性能？

主要发现

• 当客户端无任何标签数据且服务器仅有少量标签样本时，RC-SSFL 仍能保持与标准联邦学习相当的模型性能。
• 通过基于极小化-极大化的客户端选择和几何中位数聚合，系统能有效防御投毒攻击，保护全局模型的完整性。
• 通过提出的对称量化方法，通信开销降低了 2 倍至 4 倍。
• 在两个真实世界数据集上的大量实验验证了 RC-SSFL 在对抗环境和数据稀缺条件下的鲁棒性与高效性。