[论文解读] SAFELearning: Enable Backdoor Detectability In Federated Learning With Secure Aggregation

Zhuosheng Zhang, Jiarui Li+2 more|arXiv (Cornell University)|Feb 4, 2021

Privacy-Preserving Technologies in Data参考文献 32被引用 9

一句话总结

SAFELearning 提出了一种新型联邦学习协议，通过安全聚合在保护模型隐私的同时实现后门检测。它引入了无感知随机分组（ORG）和部分参数披露（PPD），使得在不暴露单个模型参数的前提下，能够对聚合后的子组模型进行异常检测，从而在常见攻击策略下实现近乎零的后门准确率，同时相比先前工作降低了计算开销。

ABSTRACT

For model privacy, local model parameters in federated learning shall be obfuscated before sent to the remote aggregator. This technique is referred to as \emph{secure aggregation}. However, secure aggregation makes model poisoning attacks such backdooring more convenient considering that existing anomaly detection methods mostly require access to plaintext local models. This paper proposes SAFELearning which supports backdoor detection for secure aggregation. We achieve this through two new primitives - \emph{oblivious random grouping (ORG)} and \emph{partial parameter disclosure (PPD)}. ORG partitions participants into one-time random subgroups with group configurations oblivious to participants; PPD allows secure partial disclosure of aggregated subgroup models for anomaly detection without leaking individual model privacy. SAFELearning can significantly reduce backdoor model accuracy without jeopardizing the main task accuracy under common backdoor strategies. Extensive experiments show SAFELearning is robust against malicious and faulty participants, whilst being more efficient than the state-of-art secure aggregation protocol in terms of both communication and computation costs.

研究动机与目标

• 解决在本地模型参数通过安全聚合保护时，检测联邦学习中后门攻击的挑战。
• 在不损害检测恶意模型更新能力的前提下，保护模型隐私。
• 降低大规模联邦学习系统中安全聚合的计算与通信开销。
• 在无需访问明文单个模型参数的前提下，实现对聚合模型的有效异常检测。
• 确保在真实联邦学习部署场景中对恶意和故障参与方的鲁棒性。

提出的方法

• 引入无感知随机分组（ORG），将用户划分为一次性随机子组，且子组成员身份与配置对用户和聚合器均隐藏。
• 采用部分参数披露（PPD），在限制隐私泄露至全局模型水平的前提下，安全发布聚合子组模型参数以支持异常检测。
• 采用分层子组设计，将用户端的计算复杂度从 O(N² + mN) 降低至 O(N + n² + m)，服务器端从 O(mN²) 降低至 O(mN + nN)。
• 利用配对掩码和秘密共享等密码学技术，在存在丢包或恶意行为的情况下仍能保持安全性和正确性。
• 在子组模型上应用自适应异常检测，以识别并缓解后门模式，而无需暴露单个模型权重。
• 在基于模拟的模型下实现可证明安全性，确保在合谋或机会主义攻击者存在时仍能保持隐私与完整性。

实验结果

研究问题

• RQ1 当本地模型参数通过安全聚合混淆时，能否在联邦学习中有效启用后门检测？
• RQ2 如何扩展安全聚合以支持异常检测，同时不泄露单个模型的隐私？
• RQ3 与现有协议相比，启用安全联邦学习中的后门检测所带来的计算与通信开销如何？
• RQ4 该方案在真实部署场景中对恶意和故障参与方的鲁棒性如何？
• RQ5 在常见攻击策略下，SAFELearning 能在多大程度上降低后门准确率，同时保持主任务的高准确率？

主要发现

• 当攻击者比例相对较低时，SAFELearning 在常见后门策略下成功将后门模型准确率降低至接近 0%，展现出强大的防御能力。
• 该协议保持了与原始联邦学习相当的收敛速率，表明对主学习任务的影响极小。
• 计算复杂度显著降低：用户端从 O(N² + mN) 降至 O(N + n² + m)，服务器端从 O(mN²) 降至 O(mN + nN)。
• 通过在 ResNet-18 和 CIFAR-10 上的大量实验验证，该方案对恶意和故障参与方均具有鲁棒性。
• 部分参数披露使得在不暴露单个模型参数的前提下，能够对子组模型实现有效的异常检测，从而保护隐私。
• 在效率方面，该协议优于当前最先进的安全聚合方案，通信与计算成本更低，同时支持后门检测。