[论文解读] Preserving Privacy and Security in Federated Learning

Truc Nguyen, My T. Thai|arXiv (Cornell University)|Feb 7, 2022

Privacy-Preserving Technologies in Data参考文献 37被引用 5

一句话总结

本文提出了一种统一的联邦学习框架，通过基于同态加密的安全聚合技术同时保障用户模型更新的隐私，并通过零知识证明（ZKPs）实现后门投毒攻击的检测。通过将攻击检测责任转移至用户，使其在不泄露模型细节的前提下证明防御机制的正确执行，服务器可在不损害隐私的前提下验证完整性，从而在统一威胁模型下同时实现安全与隐私。

ABSTRACT

Federated learning is known to be vulnerable to both security and privacy issues. Existing research has focused either on preventing poisoning attacks from users or on concealing the local model updates from the server, but not both. However, integrating these two lines of research remains a crucial challenge since they often conflict with one another with respect to the threat model. In this work, we develop a principle framework that offers both privacy guarantees for users and detection against poisoning attacks from them. With a new threat model that includes both an honest-but-curious server and malicious users, we first propose a secure aggregation protocol using homomorphic encryption for the server to combine local model updates in a private manner. Then, a zero-knowledge proof protocol is leveraged to shift the task of detecting attacks in the local models from the server to the users. The key observation here is that the server no longer needs access to the local models for attack detection. Therefore, our framework enables the central server to identify poisoned model updates without violating the privacy guarantees of secure aggregation.

研究动机与目标

• 解决联邦学习中隐私保护的安全聚合与投毒攻击检测相互排斥的关键空白。
• 设计一个包含诚实但好奇的服务器和恶意用户的威胁模型，以反映现实世界中的对抗性环境。
• 使服务器能够在不访问单个模型参数的情况下检测被污染的模型更新，从而保持隐私保证。
• 开发一种基于ZKP的协议，使用户能够密码学地证明其本地防御机制已正确执行。
• 将安全聚合与ZKP协议整合为一个单一、实用的框架，同时保持模型性能与活跃性。

提出的方法

• 提出一种基于同态加密的安全聚合协议，可在不泄露个体贡献的情况下计算本地模型更新的总和。
• 引入一种零知识证明（ZKP）协议，使用户能够证明其在模型更新上正确执行了本地防御机制。
• 设计ZKP协议具备可靠性（在未正确执行的情况下难以伪造）和零知识性（不泄露关于模型的任何信息）。
• 在ZKP构造中采用重复机制，将可靠性错误降低至(2/3)^λ，确保验证过程具有高可信度。
• 以剪枝冗余神经元（Liu et al. [25]）作为ZKP协议的具体应用场景。
• 将安全聚合与ZKP协议结合，使服务器能够在不获取个体模型数据的情况下检测被后门污染的更新。

实验结果

研究问题

• RQ1 能否在不损害隐私的前提下，于联邦学习中同时实现安全聚合与投毒攻击检测？
• RQ2 服务器如何在不访问原始模型参数的情况下检测恶意模型更新？
• RQ3 用户能否在不泄露其本地模型信息的前提下，密码学地证明其已正确执行防御机制？
• RQ4 所提出的协议在现实联邦学习环境中对通信与计算开销的影响如何？
• RQ5 当部分用户行为恶意时，该框架如何维持活跃性与隐私？

主要发现

• 所提出的框架成功整合了安全聚合与基于ZKP的攻击检测，使服务器能够在不获取个体模型参数的情况下识别被污染的模型更新。
• ZKP协议确保仅正确执行防御机制的用户才能生成有效证明，从而防止冒充或伪造。
• 该框架维持了强大的隐私保证，即使在使用ZKPs时，服务器也无法推断出任何关于个体模型更新的信息。
• 安全聚合协议对恶意用户具有鲁棒性，在存在非响应或对抗性参与方的情况下，仍能保持隐私与活跃性。
• 性能评估表明，该框架具有实用性，通信与计算开销可测量，具备现实世界部署的可行性。
• 同态加密与ZKP的集成实现了统一的威胁模型，支持联邦学习中的隐私与安全并重。