[论文解读] Practical Secure Aggregation for Federated Learning on User-Held Data

Kallista Bonawitz, Vladimir Ivanov+7 more|arXiv (Cornell University)|Nov 14, 2016

Privacy-Preserving Technologies in Data参考文献 11被引用 188

一句话总结

提出一种实用、通信高效的安全聚合协议，用于联邦学习，能够容忍用户掉线并保护单个梯度不被服务器和其他用户获取。在高维模型上实现显著的通信扩展改进。

ABSTRACT

Secure Aggregation protocols allow a collection of mutually distrust parties, each holding a private value, to collaboratively compute the sum of those values without revealing the values themselves. We consider training a deep neural network in the Federated Learning model, using distributed stochastic gradient descent across user-held training data on mobile devices, wherein Secure Aggregation protects each user's model gradient. We design a novel, communication-efficient Secure Aggregation protocol for high-dimensional data that tolerates up to 1/3 users failing to complete the protocol. For 16-bit input values, our protocol offers 1.73x communication expansion for $2^{10}$ users and $2^{20}$-dimensional vectors, and 1.98x expansion for $2^{14}$ users and $2^{24}$ dimensional vectors.

研究动机与目标

• 推动在联邦学习中的安全聚合，以保护发送到中央服务器的用户梯度。
• 设计一个对用户掉线具有鲁棒性、可扩展到高维向量的实用协议。
• 确保安全性，使服务器仅学习聚合结果，用户不获知他人输入。
• 量化所提协议的通信和计算权衡。

提出的方法

• 开发一系列协议，最终形成在各种威胁模型（T1–T3）下保护隐私的双掩蔽方案。
• 使用一次性成对的掩码和秘密分享轮次，在某些用户掉线时实现鲁棒聚合。
• 引入带二次掩码的双掩蔽方法，以防止恶意服务器。
• 使用基于Diffie-Hellman的密钥交换高效推导每对的秘密并通过PRG将种子扩展到高维向量。
• 提供性能和成本摘要，比较不同协议下用户和服务器的开销。

实验结果

研究问题

• RQ1 如何在不牺牲隐私的前提下，使联邦学习中的安全聚合对用户掉线具有鲁棒性？
• RQ2 哪些密码学技术（秘密分享、掩蔽和密钥协议）能够实现高效的高维安全聚合？
• RQ3 在诚实但好奇的服务器和不同的掉线行为下，哪些安全保证成立？
• RQ4 在实际移动环境中，所提出协议的通信和计算成本是多少？

主要发现

• 一个实用协议在最多三分之一用户无法完成协议时仍具鲁棒性。
• 对于16位输入、2^10 用户和2^20-或2^24维向量，协议分别实现1.73×和1.98×的通信扩展。
• 双掩蔽（p 和 b 掩码）在威胁模型 T1 下，当 t > n/2 时确保安全；对于更具对抗性的模型（T2、T3）需要更高的阈值。
• 协议3通过通过PRG扩展种子并使用Diffie-Hellman进行可扩展的秘密生成来降低通信。
• 以服务器中介的密钥协作为引导的安全协议在移动设备上实现实际部署，同时保持前向保密性。