[论文解读] Privacy-preserving Federated Learning based on Multi-key Homomorphic Encryption

Jing Ma, Si‐Ahmed Naas+2 more|arXiv (Cornell University)|Apr 14, 2021

Privacy-Preserving Technologies in Data参考文献 51被引用 20

一句话总结

本文提出 xMK-CKKS，一种基于聚合公钥与协同解密的多密钥同态加密隐私保护联邦学习方案。该方案通过要求所有参与方联合解密聚合结果，确保模型更新的机密性，抵抗共谋攻击，并相比基于 Paillier 的方案降低计算成本，同时保持高模型准确率和低能耗（2.4W），适用于物联网环境。

ABSTRACT

With the advance of machine learning and the internet of things (IoT), security and privacy have become key concerns in mobile services and networks. Transferring data to a central unit violates privacy as well as protection of sensitive data while increasing bandwidth demands.Federated learning mitigates this need to transfer local data by sharing model updates only. However, data leakage still remains an issue. In this paper, we propose xMK-CKKS, a multi-key homomorphic encryption protocol to design a novel privacy-preserving federated learning scheme. In this scheme, model updates are encrypted via an aggregated public key before sharing with a server for aggregation. For decryption, collaboration between all participating devices is required. This scheme prevents privacy leakage from publicly shared information in federated learning, and is robust to collusion between $k

研究动机与目标

• 解决联邦学习中模型更新可能暴露敏感数据导致的隐私泄露问题。
• 克服传统同态加密在联邦学习中的局限性，即共享密钥使得任意参与者均可解密。
• 设计一种适用于资源受限物联网设备的多密钥同态加密方案。
• 即使在 k < N−1 个设备与服务器共谋的情况下，仍确保模型更新的机密性。
• 相比现有基于同态加密的联邦学习方案，降低计算与能耗成本。

提出的方法

• 提出 xMK-CKKS，即 MK-CKKS 的改进版本，采用将各自主公钥相加生成的聚合公钥进行加密。
• 引入解密份额机制，结合个体私钥与密文，确保单个参与者无法解密他人数据。
• 采用多密钥同态加密，使服务器在聚合前可对加密的模型更新执行同态运算。
• 要求所有参与设备协同解密，即使服务器或部分客户端被攻破，也能防止未授权访问。
• 采用 CKKS 方案实现近似定点数运算，支持对实数值模型权重的高效计算。
• 在联邦学习流程中部署该方案：设备本地加密梯度，发送至服务器进行聚合，并联合解密全局模型更新。

实验结果

研究问题

• RQ1 能否设计一种多密钥同态加密方案，在设备使用不同密钥时防止联邦学习中的隐私泄露？
• RQ2 如何在加密或聚合阶段无需设备间交互的情况下实现协同解密？
• RQ3 与基于 Paillier 和 MK-CKKS 的联邦学习相比，所提方案能否降低计算与能耗成本？
• RQ4 在真实物联网场景中，该方案能否保持与非加密联邦学习相当的模型准确率？
• RQ5 该方案对部分设备与服务器共谋攻击的鲁棒性如何？

主要发现

• 基于 xMK-CKKS 的联邦学习方案在模型准确率上与传统联邦学习及使用 MK-CKKS 或 Paillier 加密的安全方案相当。
• 计算成本显著低于基于 Paillier 的联邦学习，在所有阶段（加密、聚合、解密、解密份额生成）的性能接近 MK-CKKS。
• 在 10 个 Jetson Nano 设备上，平均功耗为 2.4 瓦，证明其适用于低功耗物联网部署。
• 该方案对 k < N−1 个设备与服务器共谋具有强鲁棒性，因解密需要所有参与方的份额。
• 通信成本保持较低，仅传输加密的模型更新，不传输原始数据。
• 该方案实现了在智能医疗场景中使用边缘设备的安全、可扩展且高效的联邦学习。