[论文解读] Understanding Unintended Memorization in Federated Learning

Om Thakkar, Swaroop Ramaswamy+2 more|arXiv (Cornell University)|Jun 12, 2020

Privacy-Preserving Technologies in Data参考文献 23被引用 20

一句话总结

本文通过将秘密分享者框架适配至联邦学习（FL），研究了FL组件在减少敏感数据意外记忆方面的作用。研究发现，用户级数据聚类、联邦平均（FedAvg）以及用户级差分隐私（DP）共同减少了记忆行为，其中DP提供了最强的保护，同时保持了模型的实用性。

ABSTRACT

Recent works have shown that generative sequence models (e.g., language models) have a tendency to memorize rare or unique sequences in the training data. Since useful models are often trained on sensitive data, to ensure the privacy of the training data it is critical to identify and mitigate such unintended memorization. Federated Learning (FL) has emerged as a novel framework for large-scale distributed learning tasks. However, it differs in many aspects from the well-studied central learning setting where all the data is stored at the central server. In this paper, we initiate a formal study to understand the effect of different components of canonical FL on unintended memorization in trained models, comparing with the central learning setting. Our results show that several differing components of FL play an important role in reducing unintended memorization. Specifically, we observe that the clustering of data according to users---which happens by design in FL---has a significant effect in reducing such memorization, and using the method of Federated Averaging for training causes a further reduction. We also show that training with a strong user-level differential privacy guarantee results in models that exhibit the least amount of unintended memorization.

研究动机与目标

• 理解联邦学习（FL）组件相较于集中式学习，如何减少对敏感数据的意外记忆。
• 评估数据异质性、优化方法以及差分隐私（DP）对FL中记忆行为的影响。
• 通过改进的秘密分享者框架，衡量FL模型对记忆化攻击的抗性。
• 比较不同FL配置下（有无DP）模型实用性与隐私之间的权衡。
• 为FL设计选择在缓解记忆风险方面的协同效应提供实证证据。

提出的方法

• 通过引入用户选择概率 $p_u$ 和样本替换概率 $p_e$ 两个参数，将秘密分享者框架适配至FL，以在用户数据中嵌入信标（canaries）。
• 采用两种评估方法——样本级分类和批次级分类，检测模型输出中被记忆的信标。
• 使用联邦平均（FedAvg）和随机梯度下降（SGD）训练模型，并在IID与Non-IID数据划分下比较记忆行为。
• 在模型聚合过程中通过注入噪声，应用用户级差分隐私（DP），以实现正式的隐私保障。
• 通过困惑度衡量模型实用性，并通过插入信标的检测率评估记忆程度。
• 在不同小批量大小、用户数据分布和DP参数下进行实验，以隔离各因素的影响。

实验结果

研究问题

• RQ1 在联邦学习中，用户对数据的聚类相较于集中式学习，如何影响意外记忆？
• RQ2 在联邦学习中，使用联邦平均与SGD对记忆行为有何影响？
• RQ3 在FL模型中应用用户级差分隐私在多大程度上减少了记忆？
• RQ4 在不同训练配置下，模型实用性与记忆之间的权衡如何变化？
• RQ5 FL固有的设计特性是否能协同减少记忆，即使没有显式应用DP？

主要发现

• 在FL中，基于用户的聚类显著减少了意外记忆，即使未使用额外隐私机制。
• 从SGD切换到联邦平均进一步降低了记忆，尤其在有效小批量大小较大时更为明显。
• 使用用户级DP训练的模型表现出最少的记忆行为，经过100轮训练后达到 $(18.8, 10^{-7})$-DP，且未检测到信标的记忆。
• 即使在Non-IID设置下，DP-FedAvg模型在10轮训练内也未记忆信标，优于非DP基线模型。
• 在最低信标配置下，秘密分享者方法在DP-FedAvg模型中未检测到任何信标，表明其具有极强的抗性。
• 所有配置下的模型实用性保持相近，包括DP-FedAvg，表明隐私与性能并非相互排斥。