[论文解读] The Skellam Mechanism for Differentially Private Federated Learning

Naman Agarwal, Peter Kairouz+1 more|arXiv (Cornell University)|Oct 11, 2021

Privacy-Preserving Technologies in Data参考文献 43被引用 37

一句话总结

引入多维 Skellam 机制用于离散差分隐私，分析其 Rényi DP 保证，并在带有通信约束的安全聚合的联邦学习中展示具竞争力的隐私-效用性能。

ABSTRACT

We introduce the multi-dimensional Skellam mechanism, a discrete differential privacy mechanism based on the difference of two independent Poisson random variables. To quantify its privacy guarantees, we analyze the privacy loss distribution via a numerical evaluation and provide a sharp bound on the Rényi divergence between two shifted Skellam distributions. While useful in both centralized and distributed privacy applications, we investigate how it can be applied in the context of federated learning with secure aggregation under communication constraints. Our theoretical findings and extensive experimental evaluations demonstrate that the Skellam mechanism provides the same privacy-accuracy trade-offs as the continuous Gaussian mechanism, even when the precision is low. More importantly, Skellam is closed under summation and sampling from it only requires sampling from a Poisson distribution -- an efficient routine that ships with all machine learning and data analysis software packages. These features, along with its discrete nature and competitive privacy-accuracy trade-offs, make it an attractive practical alternative to the newly introduced discrete Gaussian mechanism.

研究动机与目标

• 激发对离散、易于采样的 DP 机制的需求，该机制适用于高维度联邦学习和安全聚合。
• 提出基于两个泊松变量之差的多维 Skellam 机制作为噪声模型。
• 通过 Rényi DP 与隐私损失分布提供紧密的隐私保证，力求匹配高斯权衡。
• 展示在集中式和分布式 DP 设置中的实际适用性，包括带通信约束的 FL 场景。

提出的方法

• 定义多维 Skellam 分布并展示对和的封闭性以实现分布式分析。
• 通过对整数值查询添加 Skellam 噪声来开发 Skellam 机制。
• 通过隐私损失分布刻画隐私，并证明对整数 α>1 的尖锐 (α, ε)-RDP 边界。
• 证明 Skellam 机制的 RDP 保证在高斯机制的近似内，误差为 1+O(1/μ) 的因子。
• 应用模运算和离散化将 Skellam 适配到带有安全聚合的联邦学习。
• 将 Skellam 与离散高斯和二项式机制进行比较，以论证实际优势。
• 提供在通信约束下，结合离散化、舍入和 Skellam 噪声的端到端 FL 算法。

实验结果

研究问题

• RQ1 在高维、迭代学习中，离散且对求和封闭的噪声机制是否能够实现与高斯噪声类似的隐私-效用权衡？
• RQ2 在多维设定中，如何利用 Rényi DP 有效量化和组合 Skellam 噪声？
• RQ3 在带通信约束的联邦学习中部署基于 Skellam 的 DP，在不牺牲效用的前提下是否可行？
• RQ4 离散化、缩放和舍入在实际 FL 流程中如何影响灵敏度和隐私？
• RQ5 就采样、求和和软件支持而言，Skellam 相较于离散高斯和二项式机制有何差异？
• RQ6

主要发现

• 多维 Skellam 机制提供 (α, ε(α))-RDP，ε(α) 的上界接近高斯基线，至多 1+O(1/μ)。
• Skellam 噪声对求和封闭，使得带安全聚合的高效分布式 DP 成为可能。
• 离散 Skellam 采样简化为泊松采样，与现成的软件和硬件支持对齐。
• 在严格隐私和通信预算下，该机制在联邦学习中达到与高斯隐私-精度权衡的匹配。
• 离散化与舍入策略可在集中与分布式 DP 设置中界定敏感性并维持效用。
• 在分布式均值估计和联邦数据集（Federated EMNIST、Stack Overflow、Shakespeare）上的实证评估表明，与高斯基线相比具有竞争力的性能。