[论文解读] Towards General Deep Leakage in Federated Learning

Jiahui Geng, Yongli Mou+5 more|arXiv (Cornell University)|Oct 18, 2021

Privacy-Preserving Technologies in Data参考文献 12被引用 23

一句话总结

本文提出了一种新颖且鲁棒的联邦学习深度信息泄露攻击方法，即使在批量中包含重复标签的情况下，也能从共享梯度（FedSGD）或模型权重（FedAvg）中重建训练图像和标签，克服了先前工作的关键局限。该方法引入了一种零样本标签恢复方法及正则化技术，提升了图像质量和一致性，在CIFAR-10和ImageNet上实现了最先进性能，即使在大批次大小和重复标签条件下仍保持高保真度。

ABSTRACT

Unlike traditional central training, federated learning (FL) improves the performance of the global model by sharing and aggregating local models rather than local data to protect the users' privacy. Although this training approach appears secure, some research has demonstrated that an attacker can still recover private data based on the shared gradient information. This on-the-fly reconstruction attack deserves to be studied in depth because it can occur at any stage of training, whether at the beginning or at the end of model training; no relevant dataset is required and no additional models need to be trained. We break through some unrealistic assumptions and limitations to apply this reconstruction attack in a broader range of scenarios. We propose methods that can reconstruct the training data from shared gradients or weights, corresponding to the FedSGD and FedAvg usage scenarios, respectively. We propose a zero-shot approach to restore labels even if there are duplicate labels in the batch. We study the relationship between the label and image restoration. We find that image restoration fails even if there is only one incorrectly inferred label in the batch; we also find that when batch images have the same label, the corresponding image is restored as a fusion of that class of images. Our approaches are evaluated on classic image benchmarks, including CIFAR-10 and ImageNet. The batch size, image quality, and the adaptability of the label distribution of our approach exceed those of GradInversion, the state-of-the-art.

研究动机与目标

• 解决联邦学习中一个关键的隐私漏洞：攻击者可从共享的模型更新中重建私有训练数据。
• 克服先前重建攻击在批量中包含重复标签时失效的局限。
• 开发一种方法，即使在经过多次本地训练轮次后，也能从共享梯度（FedSGD）和模型权重（FedAvg）中恢复图像和标签。
• 通过引入图像初始化和正则化项来提升图像重建质量，并评估恢复图像与标签之间的一致性。
• 证明标签误判会严重降低图像恢复质量，并且同类别图像在重建中会发生融合。

提出的方法

• 提出一种零样本标签恢复方法，无需事先了解标签分布或类别数量，即使在标签重复时也能实现鲁棒推理。
• 引入一种新颖的图像初始化策略，并设计两种正则化项（总变差正则化和标签感知一致性正则化），以增强图像重建的保真度。
• 设计一种框架，利用同一数据批次的多个梯度或权重更新，通过迭代优化提升图像恢复质量。
• 采用联合优化过程，同时优化图像和标签预测，建模二者之间的相互依赖关系，以提高整体重建准确性。
• 基于图像和标签一致性设计相似性对齐度量指标，用于评估恢复数据的质量，确保输出结果既真实又语义一致。
• 将该方法应用于FedSGD（梯度共享）和FedAvg（权重共享）场景，证明其在常见联邦学习训练协议中的泛化能力。

实验结果

研究问题

• RQ1 当批量标签不唯一时，深度信息泄露攻击能否从联邦学习中的共享梯度或权重中重建训练数据？
• RQ2 标签误判如何影响联邦学习攻击中图像重建的质量？
• RQ3 能否通过利用同一数据批次的多次更新来改善图像重建？
• RQ4 标签分布（如重复标签）对图像和标签恢复成功率有何影响？
• RQ5 在重建过程中同类别图像的融合如何影响恢复样本的真实感和语义准确性？

主要发现

• 在批量大小为16、标签重复最多8次的条件下，该方法在ImageNet上实现了99.60%的标签恢复准确率，而GradInversion在相同条件下的准确率下降至49.39%。
• 即使存在重复标签，图像重建质量依然保持较高水平：当一个标签被重复时，MSE从GradInversion的0.199降至本方法的0.018，PSNR从10.639提升至19.122。
• 当批量中所有图像共享同一标签时，该方法会重建出类似类别原型的融合图像，展现出类别级别的语义一致性。
• 该方法在经过多达16轮本地训练后，仍能从模型权重中成功恢复图像，而先前工作如InvertingGradients仅在批量大小和本地训练轮次均为1时有效。
• 通过利用同一数据批次的多次更新，图像重建质量得到提升，且该方法在大批次大小（最高达256）和多样化类别分布下均保持高性能。
• 实证结果证实，只要有一个标签被错误推断，图像恢复即告失败，凸显了标签与图像恢复之间强烈的相互依赖性。