[论文解读] Robbing the Fed: Directly Obtaining Private Data in Federated Learning with Modified Models

Liam Fowl, Jonas Geiping+3 more|arXiv (Cornell University)|Oct 25, 2021

Privacy-Preserving Technologies in Data被引用 32

一句话总结

本论文展示了一个恶意服务器可以在神经网络中嵌入 imprint 模块，以从聚合梯度更新中逐字重构用户数据，即使在大批量和标准聚合防御下也能实现。

ABSTRACT

Federated learning has quickly gained popularity with its promises of increased user privacy and efficiency. Previous works have shown that federated gradient updates contain information that can be used to approximately recover user data in some situations. These previous attacks on user privacy have been limited in scope and do not scale to gradient updates aggregated over even a handful of data points, leaving some to conclude that data privacy is still intact for realistic training regimes. In this work, we introduce a new threat model based on minimal but malicious modifications of the shared model architecture which enable the server to directly obtain a verbatim copy of user data from gradient updates without solving difficult inverse problems. Even user data aggregated over large batches -- where previous methods fail to extract meaningful content -- can be reconstructed by these minimally modified models.

研究动机与目标

• 证明对模型结构的微小修改就能在联邦学习中侵犯用户隐私。
• 引入 imprint 模块，使梯度更新中具备数据恢复能力。
• 量化 imprint 模块如何在不同批量大小下实现对用户数据的精确或近似精确重构。
• 在大规模数据（ImageNet）上评估此攻击并讨论潜在的防御措施。

提出的方法

• 定义一个威胁模型：一个会修改模型架构和参数的恶意服务器。
• 引入由带偏置的线性层后接 ReLU，以及精心构造的 W_* 和 b_* 组成的 imprint 模块，用以编码数据统计信息。
• 证明相邻 imprint 区间的梯度差可恢复单个数据点（参见第 3 节中的方程和推理）。
• 给出一个命题，给出完美恢复样本数对批量大小 n 与 imprint 区间数 k 的下界（命题 1）。
• 展示实际攻击，包括在 ImageNet 上使用 ResNet-18 + imprint（128 个区间）的全批量恢复，达到高 PSNR。
• 分析一次性攻击在非常大批量更新的聚合中泄漏单个数据点（最多 16,384 张图像），仅使用两个区间和少量参数增加（约总参数的 1%）。
• 讨论变体，如灵活的放置位置、多个本地更新，以及超越图像的数据模态等。

实验结果

研究问题

• RQ1 对模型架构的最小修改是否能够使服务器从梯度更新中恢复私人用户数据？
• RQ2 imprint 模块如何在不同批量大小和网络放置下实现对输入的完全或近似完全重建？
• RQ3 在此攻击下，完美数据恢复的定量极限有哪些（例如区间数 k、批量大小 n）？
• RQ4 与现有的梯度反演方法在大规模模型和数据集上的表现相比如何？
• RQ5 哪些防御策略可以减轻基于 imprint 的隐私泄露在联邦学习中的风险？

主要发现

• imprint 模块可以实现对梯度更新中大量用户数据的精确恢复，随着区间数 k 增加，恢复越多。
• 在 ImageNet 上批量大小为 64，ResNet-18 前端有 128 个 imprint 区间的条件下，该方法能得到几乎完美的重构（平均 PSNR 75.75）。
• 一次性攻击可以从 16,384 张图像的聚合中泄露逐字数据点，仅使用两个区间和少量参数增加（约总参数的 1%）。
• 该攻击对放置在网络中的位置具有鲁棒性，在一定程度上对本地更新步骤也具有鲁棒性，且不仅限于图像的数据模态也会受到影响。