[论文解读] Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning
本文提出了一种个性化联邦学习框架，通过在全局模型更新与本地个性化之间取得平衡，改善了隐私-准确率权衡。通过调节个性化参数 𝛼，该方法通过本地学习降低隐私成本，同时保持全局模型效率，在用户级差分隐私下实现了更好的泛化性能。
Large-scale machine learning systems often involve data distributed across a collection of users. Federated learning algorithms leverage this structure by communicating model updates to a central server, rather than entire datasets. In this paper, we study stochastic optimization algorithms for a personalized federated learning setting involving local and global models subject to user-level (joint) differential privacy. While learning a private global model induces a cost of privacy, local learning is perfectly private. We provide generalization guarantees showing that coordinating local learning with private centralized learning yields a generically useful and improved tradeoff between accuracy and privacy. We illustrate our theoretical results with experiments on synthetic and real-world datasets.
研究动机与目标
- 解决联邦学习中模型准确率与用户级差分隐私之间的权衡问题。
- 探究个性化是否能够降低隐私保证对全局模型训练造成的准确率损失。
- 形式化并分析个性化程度变化对隐私约束下泛化性能的影响。
- 通过实证验证，个性化联邦学习在多种数据集上均能改善隐私-准确率权衡。
提出的方法
- 提出一种用于个性化联邦学习的随机优化框架，支持联合用户级差分隐私。
- 引入一个个性化参数 𝛼，用于控制全局与本地模型更新之间的相对步长。
- 推导出泛化界，表明过量风险可分解为随 n 减小的统计项和依赖于 𝛼 与 𝜖 的隐私项。
- 在凸优化设置下证明理论保证，当 𝛼 → 0（即本地学习）时，隐私成本趋于零。
- 采用联邦私有随机梯度算法，其中迭代次数对应于每个用户的样本数（n）。
- 将该方法应用于合成数据、Stackoverflow 和 EMNIST 数据集，通过调整 𝛼 和隐私预算 𝜖 来评估权衡表现。
实验结果
研究问题
- RQ1个性化是否能够降低联邦学习中用户级差分隐私带来的准确率成本？
- RQ2个性化程度（由 𝛼 控制）如何影响隐私与模型准确率之间的权衡？
- RQ3在相同隐私预算下，本质上更私有的本地学习是否优于全局学习？
- RQ4在何种场景下，个性化相比标准全局学习能显著改善隐私-准确率权衡？
- RQ5不同数据分布（如共享与用户特定）如何影响个性化最优水平？
主要发现
- 在合成数据上，经过约 200 次迭代（每个用户 2000 个样本）后，全本地学习（𝛼=0）在高隐私噪声下优于全局学习（𝛼=∞）。
- 在 Stackoverflow 数据集上，中间程度的个性化（𝛼=10）在无隐私约束下达到最佳准确率，而低 𝛼 在隐私约束下表现最佳。
- 在联邦 EMNIST 上，仅本地模型（𝛼=0）表现较差，这是由于缺乏共享表征学习；但小 𝛼 仍能改善隐私-准确率权衡。
- 在非凸设置下使用深度模型（如 4 层 CNN）时，即使全局学习在无隐私条件下更准确，小 𝛼 仍能带来更好的隐私-准确率权衡。
- 理论分析表明，当 𝛼→0 时，隐私成本项趋于零，而统计误差随数据量增加而减小，从而实现灵活的权衡。
- 实验结果证实，调节个性化参数 𝛼 可在多种真实世界和合成数据集上系统性地改善隐私-准确率权衡。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。