[论文解读] Toward Robustness and Privacy in Federated Learning: Experimenting with Local and Central Differential Privacy.

Mohammad Naseri, Jamie Hayes+1 more|arXiv (Cornell University)|Sep 8, 2020

Privacy-Preserving Technologies in Data参考文献 111被引用 54

一句话总结

本文评估了联邦学习中本地差分隐私（LDP）与中心差分隐私（CDP）作为防御机制，以应对后门攻击、成员推理攻击及属性推理攻击。结果表明，两种DP变体均能有效缓解后门攻击与白盒成员推理攻击，同时保持模型性能，但对属性推理攻击无防御效果，从而建立了一个可复用的隐私-效用-鲁棒性权衡分析框架。

ABSTRACT

Federated Learning (FL) allows multiple participants to collaboratively train machine learning models by keeping their datasets local and exchanging model updates. Recent work has highlighted weaknesses related to robustness and privacy in FL, including backdoor, membership and property inference attacks. In this paper, we investigate whether and how Differential Privacy (DP) can be used to defend against attacks targeting both robustness and privacy in FL. To this end, we present a first-of-its-kind experimental evaluation of Local and Central Differential Privacy (LDP/CDP), assessing their feasibility and effectiveness. We show that both LDP and CDP do defend against backdoor attacks, with varying levels of protection and utility, and overall more effectively than non-DP defenses. They also mitigate white-box membership inference attacks, which our work is the first to show. Neither, however, defend against property inference attacks, prompting the need for further research in this space. Overall, our work also provides a re-usable measurement framework to quantify the trade-offs between robustness/privacy and utility in differentially private FL.

研究动机与目标

• 探究差分隐私（DP）是否能同时提升联邦学习（FL）中的隐私保护与鲁棒性。
• 比较本地差分隐私（LDP）与中心差分隐私（CDP）在联邦学习中防御对抗性攻击的有效性。
• 评估不同DP配置下模型效用、隐私与鲁棒性之间的权衡关系。
• 建立一个可复用的度量框架，用于量化差分隐私联邦学习中的隐私-效用-鲁棒性权衡。

提出的方法

• 通过在客户端对模型更新添加噪声，实现本地差分隐私（LDP）。
• 通过在服务器端对全局模型聚合过程添加噪声，实现中心差分隐私（CDP）。
• 在基准联邦学习数据集上开展受控实验，评估防御机制对特定攻击类型的应对效果。
• 采用标准指标（如攻击成功率、模型准确率与隐私损失）量化权衡关系。
• 提出统一的评估框架，系统比较基于DP的防御与非DP基线方法。
• 采用白盒成员推理攻击与属性推理攻击，检验DP保护模型的鲁棒性。

实验结果

研究问题

• RQ1 本地差分隐私与中心差分隐私能否在联邦学习中有效防御后门攻击？
• RQ2 在联邦学习中，LDP与CDP在缓解白盒成员推理攻击方面表现如何比较？
• RQ3 LDP与CDP在联邦学习中对属性推理攻击的防护程度如何？
• RQ4 在联邦学习中应用DP时，模型效用、隐私与鲁棒性之间的权衡关系如何？

主要发现

• LDP与CDP均能有效防御后门攻击，且CDP通常比LDP提供更强的保护。
• LDP与CDP显著降低了白盒成员推理攻击的成功率，该发现被本文认定为新颖。
• LDP与CDP均无法对属性推理攻击提供有效防御，表明当前基于DP的防御存在关键漏洞。
• 所提出的框架可实现对差分隐私联邦学习中隐私-效用-鲁棒性权衡的系统性量化。
• 基于DP的防御在鲁棒性与隐私保护方面优于非DP防御，但以牺牲模型效用为代价。
• 结果表明，在相同隐私预算下，CDP通常比LDP实现更优的效用-隐私平衡。