[论文解读] Secure Weighted Aggregation for Federated Learning

Jiale Guo, Ziyao Liu+4 more|arXiv (Cornell University)|Oct 17, 2020

Privacy-Preserving Technologies in DataComputer Science参考文献 20被引用 17

一句话总结

该论文提出了一种增强隐私的联邦学习方案，通过同态加密和零知识证明实现安全加权聚合，以应对数据差异并抵御恶意客户端消息。与基线方法相比，该方案仅带来1.2倍的运行时开销和1.3倍的通信开销，实现了安全的加权模型聚合，同时保障了数据隐私和完整性。

ABSTRACT

The pervasive adoption of Internet-connected digital services has led to a growing concern in the personal data privacy of their customers. On the other hand, machine learning (ML) techniques have been widely adopted by digital service providers to improve operational productivity and customer satisfaction. ML inevitably accesses and processes users' personal data, which could potentially breach the relevant privacy protection regulations if not performed carefully. The situation is exacerbated by the cloud-based implementation of digital services when user data are captured and stored in distributed locations, hence aggregation of the user data for ML could be a serious breach of privacy regulations. In this backdrop, Federated Learning (FL) is an emerging area that allows ML on distributed data without the data leaving their stored location. However, depending on the nature of the digital services, data captured at different locations may carry different significance to the business operation, hence a weighted aggregation will be highly desirable for enhancing the quality of the FL-learned model. Furthermore, to prevent leakage of user data from the aggregated gradients, cryptographic mechanisms are needed to allow secure aggregation of FL. In this paper, we propose a privacy-enhanced FL scheme for supporting secure weighted aggregation. Besides, by devising a verification protocol based on Zero-Knowledge Proof (ZKP), the proposed scheme is capable of guarding against fraudulent messages from FL participants. Experimental results show that our scheme is practical and secure. Compared to existing FL approaches, our scheme achieves secure weighted aggregation with an additional security guarantee against fraudulent messages with an affordable 1.2 times runtime overheads and 1.3 times communication costs.

研究动机与目标

• 解决联邦学习中因本地数据集大小和质量差异导致的数据差异挑战，通过加权聚合提升全局模型准确率。
• 通过同态加密实现的安全聚合，防止本地数据泄露，确保强隐私保障。
• 降低恶意或欺诈客户端发送篡改梯度以操纵模型权重的风险。
• 提供抗丢包的聚合机制，确保在部分客户端无法参与时系统仍具鲁棒性。
• 集成零知识证明，以验证客户端消息的正确性，同时不泄露敏感信息。

提出的方法

• 利用Paillier同态加密方案，实现客户端梯度的安全聚合，而无需暴露原始数据。
• 采用加权聚合机制，根据数据集大小和标签质量指标对客户端贡献进行缩放，以反映数据集的重要性。
• 设计基于零知识证明的验证协议，验证每个客户端上传的梯度是否正确计算，并与所声明的数据大小和质量一致。
• 集成抗丢包的安全聚合框架，确保在部分客户端未响应时系统仍保持可用性和正确性。
• 应用门限秘密共享和安全多方计算原理，实现信任分发，防止单点故障。
• 将验证协议与聚合流程结合，在模型更新前检测并拒绝欺诈消息。

实验结果

研究问题

• RQ1 联邦学习系统如何在考虑客户端间数据差异的前提下，安全地聚合模型更新？
• RQ2 哪些密码学机制可实现在不暴露客户端数据或梯度的前提下进行隐私保护聚合？
• RQ3 系统如何检测并防止恶意客户端提交欺诈性梯度以操纵全局模型？
• RQ4 将零知识证明集成到带加权聚合的安全联邦学习中，其性能开销如何？
• RQ5 所提出的方案在客户端丢包情况下是否仍能保持鲁棒性和正确性？

主要发现

• 所提方案仅带来基线方法1.2倍的运行时开销和1.3倍的通信成本，证明了其实际可行性。
• 基于零知识证明的验证协议成功检测并拒绝了欺诈消息，同时未泄露客户端敏感数据。
• 系统对客户端丢包具有鲁棒性，在任一阶段最多30%的客户端未响应时，仍能维持安全聚合。
• 同态加密与零知识证明的集成确保了端到端的隐私与完整性，防止数据泄露和模型投毒攻击。
• 实验结果表明，该方案在保持高模型准确率的同时，提供了强大的抗数据泄露和对抗性操纵的安全保障。
• 与现有方法相比，该方案在处理数据差异和对抗行为方面表现更优，实现了安全、准确与效率之间的良好平衡。