[论文解读] Trading Off Privacy, Utility and Efficiency in Federated Learning

Xiaojin Zhang, Yan Kang+3 more|arXiv (Cornell University)|Sep 1, 2022

Privacy-Preserving Technologies in Data被引用 5

一句话总结

本文提出了一种统一的联邦学习框架，整合了水平联邦学习（HFL）与垂直联邦学习（VFL），并建立了无免费午餐（NFL）定理，量化了隐私泄露、效用损失与效率降低之间的固有权衡。关键贡献在于对这三者综合成本的理论下界，证明在某些场景下，不存在任何保护机制能同时在这三个维度上实现最优性能。

ABSTRACT

Federated learning (FL) enables participating parties to collaboratively build a global model with boosted utility without disclosing private data information. Appropriate protection mechanisms have to be adopted to fulfill the opposing requirements in preserving extit{privacy} and maintaining high model extit{utility}. In addition, it is a mandate for a federated learning system to achieve high extit{efficiency} in order to enable large-scale model training and deployment. We propose a unified federated learning framework that reconciles horizontal and vertical federated learning. Based on this framework, we formulate and quantify the trade-offs between privacy leakage, utility loss, and efficiency reduction, which leads us to the No-Free-Lunch (NFL) theorem for the federated learning system. NFL indicates that it is unrealistic to expect an FL algorithm to simultaneously provide excellent privacy, utility, and efficiency in certain scenarios. We then analyze the lower bounds for the privacy leakage, utility loss and efficiency reduction for several widely-adopted protection mechanisms including extit{Randomization}, extit{Homomorphic Encryption}, extit{Secret Sharing} and extit{Compression}. Our analysis could serve as a guide for selecting protection parameters to meet particular requirements.

研究动机与目标

• 解决在现实世界约束下，联邦学习系统中隐私、效用与效率之间平衡的关键挑战。
• 在单一理论框架下统一水平与垂直联邦学习，实现对权衡的一致性分析。
• 通过无免费午餐（NFL）定理，正式量化隐私泄露、效用损失与效率降低之间的不可避免权衡。
• 针对广泛使用的保护机制（如随机化、同态加密、秘密共享与压缩）推导隐私泄露、效用损失与效率降低的下界。
• 通过提供系统设计的原理性理论基础，指导实践者选择最优保护参数。

提出的方法

• 提出一种统一的联邦学习框架，通过保护者-攻击者动态的共享概念视角，建模水平（HFL）与垂直（VFL）联邦学习场景。
• 定义三个核心度量：隐私泄露（使用Jensen-Shannon散度衡量）、效用损失（通过模型性能退化度量）与效率降低（通过通信与计算开销量化）。
• 建立无免费午餐（NFL）定理，表明隐私泄露、效用损失与效率降低的加权和超过一个依赖于问题的正常数，证明任何机制无法同时优化三者。
• 将NFL定理应用于推导各类保护机制的解析下界，使用概率论与信息论工具，包括KL散度与乘积分布。
• 使用JS散度（作为KL散度的对称替代）衡量隐私泄露，实现更紧密的理论分析，并满足三角不等式以增强鲁棒性。
• 基于模型失真参数与压缩概率，推导出在随机化、Paillier同态加密、秘密共享与压缩机制下，隐私泄露、效用损失与效率降低的闭式下界。

Figure 1: Illustration of the HFL procedure (left) and VFL procedure (right). For the HFL setting, we consider the server as the adversary who aims to infer individual clients’ private data. For the VFL setting, we consider client 1 (has no labels) as the adversary who wants to recover the labels ow

实验结果

研究问题

• RQ1 联邦学习系统能否同时实现最小隐私泄露、最小效用损失与最小效率降低？
• RQ2 隐私、效用与效率之间权衡的根本理论极限是什么？
• RQ3 广泛使用的保护机制——随机化、同态加密、秘密共享与压缩——在隐私-效用-效率权衡中的表现如何？
• RQ4 每种保护机制下，隐私泄露、效用损失与效率降低的下界是什么？
• RQ5 NFL定理能否统一应用于水平与垂直联邦学习场景，以量化系统固有的权衡？

主要发现

• 无免费午餐（NFL）定理证明，在联邦学习中不可能同时实现最优隐私、效用与效率；归一化后的隐私泄露、效用损失与效率降低之和超过一个非零、依赖于问题的常数。
• 对于随机化机制，隐私泄露的下界由失真参数决定，效用损失为零，效率降低取决于噪声尺度。
• 对于秘密共享，效用损失为零，隐私泄露的下界由与失真范围成反比的项决定，表明更强的隐私需要更大的参数空间扩展。
• 对于压缩，隐私泄露、效用损失与效率降低三者均被下界约束，其表达式涉及压缩概率的乘积，表明更高压缩会同时增加隐私保护与效用损失。
• 每种机制推导出的下界为实际系统中根据特定需求选择保护参数提供了理论指导。
• 使用Jensen-Shannon散度替代KL散度，实现了对称性与满足三角不等式的隐私度量，增强了理论可处理性与权衡分析的鲁棒性。

Figure 2: The unified federated learning framework (including HFL and VFL) illustrates the relationship between privacy leakage $\epsilon_{p}$ , utility loss $\epsilon_{u}$ , and efficiency reduction $\epsilon_{e}$ . $D$ denotes the private data, which can be either features or labels. $msg$ denotes