[论文解读] Source Inference Attacks in Federated Learning

Hongsheng Hu, Zoran Salčić+3 more|arXiv (Cornell University)|Sep 13, 2021

Privacy-Preserving Technologies in Data参考文献 38被引用 4

一句话总结

本文提出联邦学习中的源推理攻击（SIAs），其中诚实但好奇的服务器通过分析本地模型预测损失，推断出特定训练样本来自哪个客户端。该攻击在不违反联邦学习协议的前提下实现了高达75.1%的攻击成功率（ASR），揭示了源隐私是一个关键但被忽视的威胁，超越了成员推理攻击的范畴。

ABSTRACT

Federated learning (FL) has emerged as a promising privacy-aware paradigm that allows multiple clients to jointly train a model without sharing their private data. Recently, many studies have shown that FL is vulnerable to membership inference attacks (MIAs) that can distinguish the training members of the given model from the non-members. However, existing MIAs ignore the source of a training member, i.e., the information of which client owns the training member, while it is essential to explore source privacy in FL beyond membership privacy of examples from all clients. The leakage of source information can lead to severe privacy issues. For example, identification of the hospital contributing to the training of an FL model for COVID-19 pandemic can render the owner of a data record from this hospital more prone to discrimination if the hospital is in a high risk region. In this paper, we propose a new inference attack called source inference attack (SIA), which can derive an optimal estimation of the source of a training member. Specifically, we innovatively adopt the Bayesian perspective to demonstrate that an honest-but-curious server can launch an SIA to steal non-trivial source information of the training members without violating the FL protocol. The server leverages the prediction loss of local models on the training members to achieve the attack effectively and non-intrusively. We conduct extensive experiments on one synthetic and five real datasets to evaluate the key factors in an SIA, and the results show the efficacy of the proposed source inference attack.

研究动机与目标

• 为填补联邦学习隐私研究中的空白，通过研究源隐私——即识别哪一客户端贡献了特定训练样本——来超越现有的成员推理攻击。
• 证明服务器可在不修改联邦学习协议或降低模型性能的前提下推断出源信息。
• 在多种联邦学习设置下评估源推理的有效性，包括非独立同分布（non-i.i.d.）数据分布和不同客户端数量。
• 探讨差分隐私作为防御手段的局限性，揭示模型效用与攻击缓解之间的显著权衡。

提出的方法

• 攻击从贝叶斯视角建模，基于本地模型预测损失，推断数据样本来源的后验概率。
• 服务器计算每个本地模型在给定训练样本上的预测损失，并利用该信息估计最可能贡献该样本的客户端。
• 该方法非侵入性，不修改模型更新或通信内容，仅利用现有的联邦学习通信模式。
• 在1个合成数据集和5个真实世界数据集（包括Location和CIFAR-10）上评估该攻击，涵盖不同的数据偏斜程度（α）、客户端数量（K）和本地训练轮次（E）。
• 应用差分隐私作为防御机制以测试其有效性，并通过超参数调优实现隐私与模型效用之间的平衡。

实验结果

研究问题

• RQ1 在联邦学习中，服务器是否能在不违反协议的前提下推断出特定训练样本来自哪个客户端？
• RQ2 数据的非独立同分布分布和模型泛化能力如何影响源推理攻击的成功率？
• RQ3 客户端数量、本地训练轮次和数据偏斜程度对源推理准确率有何影响？
• RQ4 差分隐私能否在不严重降低模型效用的前提下有效防御源推理攻击？

主要发现

• 在标准联邦学习设置下，源推理攻击在Location数据集上的平均攻击成功率（ASR）达到75.1%，在CIFAR-10数据集上为55.2%。
• 攻击的成功率与本地模型的泛化能力以及本地数据分布的多样性密切相关。
• 当数据高度非独立同分布（α较低）时，攻击性能提升，表明数据偏斜会加剧源信息泄露。
• 差分隐私将Location数据集上的ASR降低至55.1%，CIFAR-10数据集上降低至24.4%，但同时导致测试准确率从71.2%降至12.3%，以及从68.3%降至10.0%。
• 结果表明，原始差分隐私作为SIAs的防御手段效果有限，因其导致严重效用下降，凸显了对更优隐私保护机制的迫切需求。