[论文解读] Practical and Bilateral Privacy-preserving Federated Learning

Yan Feng, Xue Yang+3 more|arXiv (Cornell University)|Feb 23, 2020

Privacy-Preserving Technologies in Data参考文献 25被引用 11

一句话总结

本文提出了首个双边隐私保护联邦学习方案，可同时防止客户端原始数据及模型迭代/参数的泄露。该方案采用高效的掩码技术对全局模型进行加密，使客户端在噪声版本的模型上进行训练，仅服务器可重建精确更新后的模型，从而在极低通信开销下实现强隐私保护，且模型准确率与标准联邦学习相当。

ABSTRACT

Federated learning, as an emerging distributed training model of neural networks without collecting raw data, has attracted widespread attention. However, almost all existing researches of federated learning only consider protecting the privacy of clients, but not preventing model iterates and final model parameters from leaking to untrusted clients and external attackers. In this paper, we present the first bilateral privacy-preserving federated learning scheme, which protects not only the raw training data of clients, but also model iterates during the training phase as well as final model parameters. Specifically, we present an efficient privacy-preserving technique to mask or encrypt the global model, which not only allows clients to train over the noisy global model, but also ensures only the server can obtain the exact updated model. Detailed security analysis shows that clients can access neither model iterates nor the final global model; meanwhile, the server cannot obtain raw training data of clients from additional information used for recovering the exact updated model. Finally, extensive experiments demonstrate the proposed scheme has comparable model accuracy with traditional federated learning without bringing much extra communication overhead.

研究动机与目标

• 填补联邦学习中仅保护客户端数据隐私，而模型更新与最终参数仍暴露的空白。
• 防止不受信客户端及外部攻击者在训练过程中推断出敏感模型信息。
• 确保即使使用辅助信息，服务器也无法访问原始客户端数据。
• 设计一种实用方案，在保持模型准确率的同时，仅引入极低的通信与计算开销。

提出的方法

• 提出一种新颖的隐私保护技术，对联邦训练期间的全局模型进行掩码或加密。
• 允许客户端在全局模型的噪声版本上进行训练，防止其观察到精确的模型参数。
• 确保仅服务器可利用辅助信息重建精确的更新后模型。
• 采用密码学掩码机制，实现模型更新的安全计算，而无需暴露中间或最终模型状态。
• 将掩码机制集成至标准联邦平均框架，仅需极少修改。
• 在增强隐私保障的同时，保持与现有联邦学习系统的向后兼容性。

实验结果

研究问题

• RQ1 联邦学习系统能否同时保护客户端数据与模型参数，防止客户端及外部对手的泄露？
• RQ2 如何在不损害训练准确率的前提下，隐藏模型迭代过程与最终模型权重，防止不受信客户端访问？
• RQ3 在保护模型信息的同时，通信与计算开销如何？
• RQ4 服务器能否在不借助辅助信息获取原始客户端数据的前提下，重建精确的模型更新？

主要发现

• 所提方案的模型准确率与标准联邦学习相当，性能无显著下降。
• 隐私保护机制引入的通信开销极低，与基线联邦学习水平相当。
• 客户端无法访问模型迭代过程或最终全局模型，因其仅接收模型的掩码版本。
• 服务器无法通过辅助信息推断出原始训练数据。
• 安全分析表明，客户端数据与模型参数均能有效防止向不可信方泄露。