[论文解读] Threats to Federated Learning: A Survey

Lingjuan Lyu, Han Yu+1 more|arXiv (Cornell University)|Mar 4, 2020

Privacy-Preserving Technologies in Data参考文献 43被引用 234

一句话总结

本综述评估联邦学习中的威胁模型，聚焦内部人员的投毒和推断攻击，并讨论防御方向和研究差距。

ABSTRACT

With the emergence of data silos and popular privacy awareness, the traditional centralized approach of training artificial intelligence (AI) models is facing strong challenges. Federated learning (FL) has recently emerged as a promising solution under this new reality. Existing FL protocol design has been shown to exhibit vulnerabilities which can be exploited by adversaries both within and without the system to compromise data privacy. It is thus of paramount importance to make FL system designers to be aware of the implications of future FL algorithm design on privacy-preservation. Currently, there is no survey on this topic. In this paper, we bridge this important gap in FL literature. By providing a concise introduction to the concept of FL, and a unique taxonomy covering threat models and two major attacks on FL: 1) poisoning attacks and 2) inference attacks, this paper provides an accessible review of this important topic. We highlight the intuitions, key techniques as well as fundamental assumptions adopted by various attacks, and discuss promising future research directions towards more robust privacy preservation in FL.

研究动机与目标

• 在数据孤岛与隐私担忧的情况下，介绍联邦学习及其隐私含义。
• 对联邦学习威胁模型进行分类，并将内部攻击确认为主要关注对象。
• 对投毒与推断攻击进行综述，包括它们的直觉、技术和假设。
• 讨论对鲁棒的隐私保护型联邦学习解决方案的潜在未来研究方向。

提出的方法

• 提供对FL类型（HFL、VFL、FTL）和参与者角色（H2B、H2C）的分类，以框架化威胁。
• 总结数据投毒和模型投毒攻击及其在不同FL设置下的有效性。
• 描述对梯度的推断攻击，包括类别代表、成员身份、属性以及训练输入/标签泄露。
• 讨论防御机制及其局限性，包括差分隐私和对抗性训练，并勾画开放研究方向。

实验结果

研究问题

• RQ1 在联邦学习中，主要的内部威胁模型是什么，它们如何与外部威胁不同？
• RQ2 哪些投毒和推断攻击技术会威胁到FL，在哪些FL场景（H2B、H2C、VFL、FTL）下最有效？
• RQ3 现有哪些针对FL威胁的防御措施，它们在现实世界、非独立同分布和异构环境中的局限性是什么？
• RQ4 哪些未来的研究方向可以提升联邦学习的鲁棒性和隐私？
• RQ5 不同的FL架构和部署场景如何影响攻击面与防御策略？

主要发现

• 由于对系统状态具有更大访问权限，FL的内部攻击通常比外部攻击更强大且更值得关注。
• 数据投毒和模型投毒可以削弱或劫持FL模型，其中模型投毒能够引入隐蔽的后门。
• 推断攻击可以从梯度中泄露私有信息，包括类别代表、成员身份、属性，以及训练输入/标签，尤其是在训练阶段攻击中。
• 如从梯度深度泄露（Deep Leakage from Gradients）等高级攻击在少量迭代中即可恢复训练输入和标签，凸显梯度泄露风险。
• 诸如差分隐私和对抗性训练的防御在隐私、准确性和实用性之间存在权衡，特别是在非IID和参与方较少的情景下。