[论文解读] PRECAD: Privacy-Preserving and Robust Federated Learning via Crypto-Aided Differential Privacy

Xiaolan Gu, Ming Li+1 more|arXiv (Cornell University)|Oct 22, 2021

Privacy-Preserving Technologies in Data参考文献 60被引用 8

一句话总结

PRECAD 是一种新颖的联邦学习框架，结合了密码学辅助的差分隐私与安全多方计算，同时实现了强大的记录级隐私保护和对模型投毒攻击的鲁棒性。通过在服务器端而非客户端使用秘密共享添加噪声，它在保持与本地差分隐私相同噪声机制的同时，改善了隐私-效用权衡，并利用该噪声通过安全验证和基于 MPC 的聚合增强了鲁棒性。

ABSTRACT

Federated Learning (FL) allows multiple participating clients to train machine learning models collaboratively by keeping their datasets local and only exchanging model updates. Existing FL protocol designs have been shown to be vulnerable to attacks that aim to compromise data privacy and/or model robustness. Recently proposed defenses focused on ensuring either privacy or robustness, but not both. In this paper, we develop a framework called PRECAD, which simultaneously achieves differential privacy (DP) and enhances robustness against model poisoning attacks with the help of cryptography. Using secure multi-party computation (MPC) techniques (e.g., secret sharing), noise is added to the model updates by the honest-but-curious server(s) (instead of each client) without revealing clients' inputs, which achieves the benefit of centralized DP in terms of providing a better privacy-utility tradeoff than local DP based solutions. Meanwhile, a crypto-aided secure validation protocol is designed to verify that the contribution of model update from each client is bounded without leaking privacy. We show analytically that the noise added to ensure DP also provides enhanced robustness against malicious model submissions. We experimentally demonstrate that our PRECAD framework achieves higher privacy-utility tradeoff and enhances robustness for the trained models.

研究动机与目标

• 解决现有联邦学习系统仅保护隐私或仅保护鲁棒性，但无法兼顾的问题。
• 设计一种框架，在不依赖不可信客户端或过强服务器假设的前提下，实现记录级差分隐私。
• 通过利用为隐私添加的噪声而非将其视为效用成本，增强对模型投毒攻击的鲁棒性。
• 实现在不泄露敏感信息的前提下对客户端更新进行安全、隐私保护的验证。
• 证明差分隐私所用的噪声可同时提升鲁棒性，避免本地 DP 方法中常见的权衡问题。

提出的方法

• 使用秘密共享和安全多方计算（MPC），使诚实但好奇的服务器能够在不了解底层数据的情况下向模型更新添加噪声。
• 通过在服务器端添加噪声，应用集中式差分隐私（CDP），相比本地 DP 实现了更优的隐私-效用权衡。
• 采用密码学辅助的安全验证协议，验证每个客户端的更新在范数上是否受限，从而在不泄露隐私的前提下确保鲁棒性。
• 提出两种噪声聚合方案：一种方差为 $2\sigma^2$，另一种为 $\sigma^2$，两者均保证差分隐私与鲁棒性。
• 使用记录级裁剪和客户端级裁剪来限制敏感度，支持差分隐私保证。
• 利用为差分隐私添加的噪声本身也具备对恶意更新的内在鲁棒性，从而无需额外的鲁棒聚合机制。

实验结果

研究问题

• RQ1 能否在联邦学习中同时实现差分隐私与对模型投毒攻击的鲁棒性，而不损害效用？
• RQ2 为差分隐私添加的噪声是否也能增强对恶意客户端的鲁棒性？
• RQ3 在跨边缘联邦学习中，安全多方计算能否使集中式 DP 实现优于本地 DP 的隐私-效用权衡？
• RQ4 如何在不泄露私人信息的前提下验证客户端更新的有界性？
• RQ5 单一噪声机制能否同时实现两个目的：确保隐私并提升鲁棒性？

主要发现

• PRECAD 实现了优于本地 DP 的隐私-效用权衡，聚合过程中噪声的标准差降低至 $\sigma$ 或 $\sqrt{2}\sigma$，而本地 DP 中为 $\sqrt{n}\cdot\sigma$。
• 为差分隐私添加的噪声本身即增强了对模型投毒攻击的鲁棒性，无需额外的鲁棒聚合机制。
• 该框架支持两种威胁模型：存在被攻破服务器的情况与不存在被攻破服务器的情况，后者因假设更弱而需要更少的噪声。
• 实验结果表明，PRECAD 同时提升了隐私保护与鲁棒性，在效用和防御能力方面优于现有的 CDP 和 LDP 方法。
• 安全验证协议确保恶意客户端无法在不被检测的情况下提交任意大的更新，从而在保护隐私的同时维持模型完整性。
• 理论分析证实，用于记录级差分隐私的噪声也提供了客户端级差分隐私，这有助于提升对投毒攻击的鲁棒性。