[论文解读] Share Your Representation Only: Guaranteed Improvement of the Privacy-Utility Tradeoff in Federated Learning

Zebang Shen, Jiayuan Ye+3 more|arXiv (Cornell University)|Sep 11, 2023

Privacy-Preserving Technologies in Data被引用 6

一句话总结

本文提出 CENTAUR，一种新型联邦学习框架，将表示学习与分类头个性化解耦，实现全局表示的差分隐私训练，同时保持本地模型的个性化。通过仅训练一个差分隐私的全局表示函数，并允许各分类器头在本地自适应，CENTAUR 实现了可证明的隐私-效用权衡改进，在相同隐私预算下，线性表示设置中的效用相比先前工作提升了 √d。

ABSTRACT

Repeated parameter sharing in federated learning causes significant information leakage about private data, thus defeating its main purpose: data privacy. Mitigating the risk of this information leakage, using state of the art differentially private algorithms, also does not come for free. Randomized mechanisms can prevent convergence of models on learning even the useful representation functions, especially if there is more disagreement between local models on the classification functions (due to data heterogeneity). In this paper, we consider a representation federated learning objective that encourages various parties to collaboratively refine the consensus part of the model, with differential privacy guarantees, while separately allowing sufficient freedom for local personalization (without releasing it). We prove that in the linear representation setting, while the objective is non-convex, our proposed new algorithm \DPFEDREP\ converges to a ball centered around the \emph{global optimal} solution at a linear rate, and the radius of the ball is proportional to the reciprocal of the privacy budget. With this novel utility analysis, we improve the SOTA utility-privacy trade-off for this problem by a factor of $\sqrt{d}$, where $d$ is the input dimension. We empirically evaluate our method with the image classification task on CIFAR10, CIFAR100, and EMNIST, and observe a significant performance improvement over the prior work under the same small privacy budget. The code can be found in this link: https://github.com/shenzebang/CENTAUR-Privacy-Federated-Representation-Learning.

研究动机与目标

• 解决差分隐私联邦学习中的根本性矛盾，即由于数据异构性导致的大规模本地梯度会降低模型效用。
• 通过将全局表示学习与本地分类器个性化解耦，改善隐私-效用权衡。
• 在严格隐私预算下，实现共享表示的高效差分隐私优化，同时保持高模型效用。
• 在差分隐私约束下，为所提方法建立理论收敛保证。
• 通过实证验证该方法在多种数据集和数据异构性水平下的优越性。

提出的方法

• 将神经网络分解为共享的全局表示函数和客户端特定的分类器头。
• 仅对全局表示更新应用差分隐私，通过有界敏感度的噪声注入实现。
• 采用交叉验证方案，提升噪声幂方法在谱分析中的成功概率。
• 采用两阶段优化：全局表示通过差分隐私随机梯度下降训练，而本地分类器头则由各客户端独立训练。
• 提出一种新颖的收敛性分析，表明方法可线性收敛至全局最优解附近半径为 O(1/ε) 的球内，其中 ε 为隐私预算。
• 应用矩阵集中不等式与谱分析，以在隐私约束下界定估计误差。

实验结果

研究问题

• RQ1 我们能否通过将表示学习阶段与分类器个性化分离，在联邦学习中改善隐私-效用权衡？
• RQ2 将全局表示训练与本地个性化解耦，是否能减少差分隐私下梯度裁剪的负面影响？
• RQ3 通过仅将隐私预算用于表示学习，能否实现相比先前 DP-FedAvg 风格方法的可证明更优效用？
• RQ4 在数据异构性下，差分隐私全局表示的理论收敛行为如何？
• RQ5 在固定隐私预算下，该方法在输入维度 d 上的效用增益如何随维度扩展？

主要发现

• 在线性表示设置中，CENTAUR 相比先前工作在隐私-效用权衡上实现了 √d 的提升，如推论 5.1 所形式化。
• 该算法线性收敛至全局最优解附近半径为 O(1/ε) 的球内，其中 ε 为隐私预算。
• 在 CIFAR10、CIFAR100 和 EMNIST 上的实证评估表明，当隐私预算较小（ε=1, δ=10⁻⁵）时，CENTAUR 在性能上持续优于 DP-FedAvg、PPSGD、PMTL-ft 和 DP-FedAvg-fb。
• 在 CIFAR10 上，该方法在不同数据异构性设置下均一致优于基线模型，展现出鲁棒性与可扩展性。
• 用于噪声幂方法的交叉验证方案显著提升了在隐私约束下谱估计的成功概率。
• 理论分析证实，即使由于数据异构性导致本地模型在分类器头方面存在显著差异，该方法仍能保持收敛性。