[论文解读] Subject Membership Inference Attacks in Federated Learning

Anshuman Suri, Pallika Kanani+2 more|arXiv (Cornell University)|Jun 7, 2022

Privacy-Preserving Technologies in Data被引用 15

一句话总结

本文提出了一种在跨小岛联邦学习中针对主体成员身份的推理攻击，攻击者可在无确切训练记录访问权限的情况下，推断某一特定个体的数据是否被用于训练。该研究提出了两种黑盒攻击方法——一种基于损失阈值，另一种利用训练轮次间模型更新——即使在对主体分布知识有限的情况下，也表现出极高的成功率，揭示了现有联邦学习隐私模型中存在一个关键的隐私漏洞。

ABSTRACT

Privacy attacks on Machine Learning (ML) models often focus on inferring the existence of particular data points in the training data. However, what the adversary really wants to know is if a particular individual's (subject's) data was included during training. In such scenarios, the adversary is more likely to have access to the distribution of a particular subject than actual records. Furthermore, in settings like cross-silo Federated Learning (FL), a subject's data can be embodied by multiple data records that are spread across multiple organizations. Nearly all of the existing private FL literature is dedicated to studying privacy at two granularities -- item-level (individual data records), and user-level (participating user in the federation), neither of which apply to data subjects in cross-silo FL. This insight motivates us to shift our attention from the privacy of data records to the privacy of data subjects, also known as subject-level privacy. We propose two novel black-box attacks for subject membership inference, of which one assumes access to a model after each training round. Using these attacks, we estimate subject membership inference risk on real-world data for single-party models as well as FL scenarios. We find our attacks to be extremely potent, even without access to exact training records, and using the knowledge of membership for a handful of subjects. To better understand the various factors that may influence subject privacy risk in cross-silo FL settings, we systematically generate several hundred synthetic federation configurations, varying properties of the data, model design and training, and the federation itself. Finally, we investigate the effectiveness of Differential Privacy in mitigating this threat.

研究动机与目标

• 解决跨小岛联邦学习中数据主体隐私保护的缺口，其中个体数据分布在多个组织之间。
• 认识到现实中的攻击者通常针对个体而非特定数据记录，因此需要实现主体级别的隐私保护，而非项目级或用户级别的隐私保护。
• 设计适用于主体级别隐私的黑盒成员身份推理攻击，假设仅能访问模型预测结果以及来自主体分布的少量样本。
• 系统性地评估在多种合成联邦配置下主体成员身份推理的风险，以识别关键影响因素。
• 评估差分隐私在缓解联邦学习中主体级别成员身份推理威胁方面的有效性。

提出的方法

• 提出损失阈值攻击，通过计算目标主体数据样本在最终全局模型上的损失，并检查是否有任何损失低于学习到的阈值，以推断其是否属于训练数据。
• 引入跨轮次损失攻击，通过跟踪主体样本在多个训练轮次中的损失变化，检测其是否被包含在训练数据中的模式。
• 使用一组已知的包含/排除主体来调整阈值参数，避免对影子模型或大量重训练的依赖。
• 采用假设：在某主体数据上训练的模型，其在该主体数据上的损失将低于在未包含该主体数据上的损失。
• 利用每次训练轮次后对全局模型预测的访问，使攻击在诚实但好奇的服务器或参与方威胁模型下可行。
• 将攻击应用于真实世界数据集和合成联邦设置，以评估在不同数据、模型和联邦配置下的性能表现。

实验结果

研究问题

• RQ1 在无确切训练记录访问权限的情况下，攻击者在多大程度上能够推断某一特定数据主体的数据是否被用于联邦学习训练？
• RQ2 主体成员身份推理攻击的性能在不同数据分布、模型架构和联邦配置下如何变化？
• RQ3 与仅使用最终模型的方法相比，训练轮次间模型更新在提升主体成员身份推理准确率方面起到何种作用？
• RQ4 差分隐私在缓解跨小岛联邦学习中主体级别成员身份推理攻击方面的有效性如何？
• RQ5 系统级因素（如数据分布、模型大小、客户端数量）中，哪些对联邦学习中主体隐私风险的影响最为显著？

主要发现

• 所提出的主体成员身份推理攻击表现出极高的成功率——即使仅有少量已知的包含/排除主体，且无确切训练数据访问权限，仍展现出强大性能。
• 跨轮次损失攻击显著优于损失阈值攻击，通过利用时间维度上的模型行为，实现了在多种配置下的更高检测准确率。
• 主体隐私风险对数据分布特性、模型容量和参与客户端数量高度敏感，在数据更集中或分布更偏斜的设置中风险更高。
• 差分隐私可有效缓解主体成员身份推理风险，但无法完全消除，尤其是在高实用性或低噪声的场景下。
• 即使攻击者仅能访问目标主体分布的少量样本，攻击依然有效，表明主体级别隐私是一个关键且保护不足的攻击面。
• 合成联邦实验表明，客户端间的数据重叠程度和模型收敛模式是主体成员身份的强指标，提示存在超越传统成员身份推理的新攻击向量。