[论文解读] SoteriaFL: A Unified Framework for Private Federated Learning with Communication Compression

Zhize Li, Haoyu Zhao+2 more|arXiv (Cornell University)|Jun 20, 2022

Privacy-Preserving Technologies in Data被引用 10

一句话总结

SoteriaFL 提出了一种统一的私有联邦学习框架，将通信压缩与本地差分隐私（LDP）相结合，实现了在不牺牲隐私或模型效用的前提下降低通信成本。通过结合通用梯度估计器（如 SVRG 和 SAGA）与压缩更新及隐私保护噪声，SoteriaFL 实现了最优权衡，在 $(\epsilon,\delta)$-LDP 保证下展现出改进的通信复杂度和收敛性。

ABSTRACT

To enable large-scale machine learning in bandwidth-hungry environments such as wireless networks, significant progress has been made recently in designing communication-efficient federated learning algorithms with the aid of communication compression. On the other end, privacy-preserving, especially at the client level, is another important desideratum that has not been addressed simultaneously in the presence of advanced communication compression techniques yet. In this paper, we propose a unified framework that enhances the communication efficiency of private federated learning with communication compression. Exploiting both general compression operators and local differential privacy, we first examine a simple algorithm that applies compression directly to differentially-private stochastic gradient descent, and identify its limitations. We then propose a unified framework SoteriaFL for private federated learning, which accommodates a general family of local gradient estimators including popular stochastic variance-reduced gradient methods and the state-of-the-art shifted compression scheme. We provide a comprehensive characterization of its performance trade-offs in terms of privacy, utility, and communication complexity, where SoteraFL is shown to achieve better communication complexity without sacrificing privacy nor utility than other private federated learning algorithms without communication compression.

研究动机与目标

• 为解决联邦学习中同时确保通信效率和客户端隐私的统一框架缺乏的问题。
• 克服将压缩简单应用于差分隐私 SGD 所导致的效用下降和收敛性变差的局限性。
• 设计一个兼容多种梯度估计器（包括 SVRG 和 SAGA 等方差缩减方法）的通用框架。
• 在压缩存在的情况下，理论表征隐私、效用与通信复杂度之间的权衡。
• 证明通信压缩可在不损害隐私或模型性能的前提下应用于私有联邦学习。

提出的方法

• 提出统一框架 SoteriaFL，将本地差分隐私（LDP）与一类通用通信压缩算子相结合。
• 采用基于偏移的压缩方案，在保持隐私的同时降低梯度更新的方差。
• 提出一种新颖的步长选择规则，通过梯度估计器的理论分析推导得出，以平衡收敛性与隐私。
• 通过注入噪声确保 $(\epsilon,\delta)$-LDP，其方差为 $\sigma_p^2 = O\left(\frac{G^2 T \log(1/\delta)}{m^2 \epsilon^2}\right)$。
• 通过在统一优化框架中建模各类梯度估计器（如 SVRG、SAGA）的方差与偏差项，支持多种梯度估计器。
• 推导出期望梯度范数的收敛界，表明收敛速率为 $O\left(\frac{G\sqrt{(1+\omega)Ld\log(1/\delta)}}{\sqrt{n}m\epsilon}\right)$。

实验结果

研究问题

• RQ1 在联邦学习中，通信压缩能否在不降低模型效用的前提下与本地差分隐私有效结合？
• RQ2 压缩与 LDP 的集成如何影响私有联邦学习的收敛速率与通信复杂度？
• RQ3 在统一框架下，隐私、效用与通信成本之间的最优权衡是什么？
• RQ4 单一框架能否在压缩与 LDP 条件下支持多种梯度估计器（如 SVRG、SAGA）？
• RQ5 在这样的统一设置下，收敛性与隐私的理论保证是什么？

主要发现

• SoteriaFL 实现了 $O\left(\frac{G\sqrt{(1+\omega)Ld\log(1/\delta)}}{\sqrt{n}m\epsilon}\right)$ 的收敛速率，在 $(\epsilon,\delta)$-LDP 下提升了通信效率。
• 该框架在压缩条件下对 SVRG 和 SAGA 估计器均提供了可证明的收敛性与隐私保障。
• 通过压缩，通信成本降低了 $1+\omega$ 倍，其中 $\omega$ 控制压缩比。
• 框架在不牺牲效用的前提下维持了隐私，如边界隐私方差 $\sigma_p^2 = O\left(\frac{G^2 T \log(1/\delta)}{m^2 \epsilon^2}\right)$ 所示。
• 理论分析表明，SoteriaFL 的通信复杂度优于非压缩的私有联邦学习方法。
• 通过步长与偏移参数的选择，实证验证了收敛性与隐私之间的平衡。