[论文解读] SAFER: Sparse secure Aggregation for FEderated leaRning.

Constance Béguier, Eric W. Tramel|arXiv (Cornell University)|Jul 29, 2020

Privacy-Preserving Technologies in DataComputer Science参考文献 38被引用 17

一句话总结

SAFER 提出了一种轻量级、安全的聚合协议，用于联邦学习，能够在多个参与方之间高效、隐私保护地聚合压缩的模型更新。通过结合稀疏性与安全计算，它在保护客户端数据免受推理攻击的同时，降低了通信和计算成本，实现了对深层神经网络训练的高效率，且开销极小。

ABSTRACT

Federated learning enables one to train a common machine learning model across separate, privately-held datasets via distributed model training. During federated training, only intermediate model parameters are transmitted to a central server which aggregates these parameters to create a new common model, thus exposing only intermediate parameters rather than the training data itself. However, some attacks (e.g. membership inference) are able to infer properties of local data from these intermediate model parameters. Hence, performing the aggregation of these client-specific model parameters in a secure way is required. Additionally, the communication cost is often the bottleneck of the federated systems, especially for large neural networks. So, limiting the number and the size of communications is necessary to efficiently train large neural architectures. In this article, we present an efficient and secure protocol for performing secure aggregation over compressed model updates in the context of collaborative, few-party federated learning, a context common in the medical, healthcare, and biotechnical use-cases of federated systems. By making compression-based federated techniques amenable to secure computation, we develop a secure aggregation protocol between multiple servers with very low communication and computation costs and without preprocessing overhead. Our experiments demonstrate the efficiency of this new approach for secure federated training of deep convolutional neural networks.

研究动机与目标

• 解决联邦学习中的隐私风险，即中间模型参数可能通过推理攻击泄露本地数据。
• 降低联邦训练中的通信和计算开销，尤其是针对大型深层神经网络。
• 在无需预处理或额外设置成本的情况下，实现压缩模型更新的安全聚合。
• 支持医疗和生物技术应用中常见的少方联邦学习场景。
• 通过整合稀疏性与安全计算，实现高效、隐私保护的模型聚合。

提出的方法

• 该协议使用结构化稀疏性在传输前压缩模型更新，从而减少通信量。
• 它应用安全多方计算（MPC）技术，在多个服务器之间聚合稀疏且加密的模型更新。
• 该方法通过直接在隐私保护状态下对稀疏模型更新进行操作，避免了预处理步骤。
• 它利用同态加密和秘密共享技术，确保单个服务器无法获知任何客户端的更新。
• 该设计支持动态客户端参与，并在半诚实威胁模型下仍保持安全性。
• 该协议针对低延迟通信和客户端与服务器端的最小计算负载进行了优化。

实验结果

研究问题

• RQ1 能否在联邦学习中高效地将安全聚合应用于压缩的模型更新？
• RQ2 如何在不牺牲隐私的前提下，最小化安全联邦训练中的通信和计算成本？
• RQ3 能否将稀疏性整合到安全聚合中，以减少带宽和处理开销？
• RQ4 即使在模型更新稀疏且压缩的情况下，该协议是否仍能维持强隐私保障？
• RQ5 该协议在深层神经网络训练中的通信和性能扩展性如何？

主要发现

• 通过利用模型更新中的稀疏性，该协议显著降低了通信成本，实现了安全聚合。
• 它在客户端和服务器端均保持了较低的计算开销，从而实现了对深层卷积神经网络的高效训练。
• 该方法无需预处理或额外设置步骤，即可实现安全聚合。
• 通过防止任何服务器获知单个客户端的模型更新，该方法有效保护了隐私。
• 实验结果证实，SAFER 在医疗和生物技术等现实场景中能够实现高效且安全的联邦训练。
• 与现有安全聚合方法相比，该协议在通信和计算效率方面表现出更好的可扩展性和性能提升。