[论文解读] The Distributed Discrete Gaussian Mechanism for Federated Learning with Secure Aggregation

Peter Kairouz, Ziyu Liu+1 more|arXiv (Cornell University)|Feb 12, 2021

Privacy-Preserving Technologies in Data被引用 41

一句话总结

本文提出了一种分布式离散高斯机制，与安全聚合相结合用于联邦学习，分析了在离散化和模运算下的隐私与准确性，并在低通信量（每个值不超过16位）下展示了接近中心DP的准确性。

ABSTRACT

We consider training models on private data that are distributed across user devices. To ensure privacy, we add on-device noise and use secure aggregation so that only the noisy sum is revealed to the server. We present a comprehensive end-to-end system, which appropriately discretizes the data and adds discrete Gaussian noise before performing secure aggregation. We provide a novel privacy analysis for sums of discrete Gaussians and carefully analyze the effects of data quantization and modular summation arithmetic. Our theoretical guarantees highlight the complex tension between communication, privacy, and accuracy. Our extensive experimental results demonstrate that our solution is essentially able to match the accuracy to central differential privacy with less than 16 bits of precision per value.

研究动机与目标

• 在更新分布在各设备上时，推动隐私保护的联邦学习。
• 提出一个端到端的系统，在进行安全聚合之前对更新进行离散化并添加离散高斯噪声。
• 对在量化和模和运算下的离散高斯之和进行理论隐私分析。
• 分析离散化、噪声和模运算如何影响准确性与通信成本。
• 通过实验展示在低比特精度下，与中心DP相媲美的实际效用。

提出的方法

• 客户端对 x_i 进行裁剪、粒度控制，并应用一种 Hadamard 型扁平化变换。
• 每个客户端在发送 z_i 进入 Z_m^d 之前，对离散化后的向量随机四舍五入到整数并添加离散高斯噪声。
• 使用安全聚合作为黑箱对 z_i 进行模 m 求和并仅揭示聚合结果。
• 服务器将模和结果映射回实值向量，以逼近输入之和。
• 理论隐私保障：该协议达到 (1/2)·epsilon^2-concentrated DP。
• 在给定参数范围内，精度分析表明均方误差随 c^2 d / epsilon^2 量级变化。

实验结果

研究问题

• RQ1 当更新量化为整数时，在安全聚合下如何对联邦学习更新进行隐私保护？
• RQ2 离散高斯之和是否能在带模运算的分布式DP设定中提供强隐私保障？
• RQ3 在带 SecAgg 的联邦学习中，离散化粒度、噪声尺度与通信成本之间的权衡是什么？
• RQ4 在实际中，带离散高斯噪声的分布式 DP 能在多大程度上接近中心 DP？

主要发现

• 在所述假设和参数下，该协议实现了 (1/2)·epsilon^2-concentrated DP。
• 均方误差界为 O(c^2 d / epsilon^2)，在准确性上与中心 DP 的阶相匹配。
• 实验表明，每坐标 16 位足以在很大程度上接近集中高斯机制的效用。
• 该系统在维度上具有接近线性时间，通信成本为 O(d log m)，保持可行性。
• 提供了开源实现（TensorFlow Privacy/Federated），并展示了对 DME 和 FL 任务的适用性。