[论文解读] Private and Communication-Efficient Edge Learning: A Sparse Differential Gaussian-Masking Distributed SGD Approach

Xin Zhang, Minghong Fang+2 more|arXiv (Cornell University)|Jan 12, 2020

Privacy-Preserving Technologies in Data参考文献 27被引用 5

一句话总结

该论文提出了一种新型的去中心化随机梯度下降方法——SDM-DSGD，用于边缘学习，能够同时实现高效的通信与强大的差分隐私保护。通过结合稀疏梯度压缩与差分隐私的高斯掩码技术，该方法在保持隐私的同时减少了传输开销，在非凸设置下实现了 \tilde{O}(1/\sqrt{NT}) 的收敛速率。

ABSTRACT

With rise of machine learning (ML) and the proliferation of smart mobile devices, recent years have witnessed a surge of interest in performing ML in wireless edge networks. In this paper, we consider the problem of jointly improving data privacy and communication efficiency of distributed edge learning, both of which are critical performance metrics in wireless edge network computing. Toward this end, we propose a new decentralized stochastic gradient method with sparse differential Gaussian-masked stochastic gradients (SDM-DSGD) for non-convex distributed edge learning. Our main contributions are three-fold: i) We theoretically establish the privacy and communication efficiency performance guarantee of our SDM-DSGD method, which outperforms all existing works; ii) We show that SDM-DSGD improves the fundamental training-privacy trade-off by {\em two orders of magnitude} compared with the state-of-the-art. iii) We reveal theoretical insights and offer practical design guidelines for the interactions between privacy preservation and communication efficiency, two conflicting performance goals. We conduct extensive experiments with a variety of learning models on MNIST and CIFAR-10 datasets to verify our theoretical findings. Collectively, our results contribute to the theory and algorithm design for distributed edge learning.

研究动机与目标

• 解决去中心化边缘学习系统中同时保障数据隐私与通信效率的关键挑战。
• 克服隐私保护噪声（如独立同分布的高斯噪声）与通信高效梯度压缩（如稀疏化）之间的固有冲突，二者会相互损害性能。
• 设计一种统一的算法框架，集成隐私与效率机制，同时不牺牲收敛性保证。
• 在非凸分布式学习设置下，提供关于隐私、通信效率与收敛速率的理论性能边界。
• 为现实世界边缘部署中隐私与通信效率之间的权衡提供实用的设计指导。

提出的方法

• 提出一种广义的差分编码 DSGD 更新机制，通过梯度稀疏化实现低发送概率，同时保持收敛性。
• 引入一种稀疏差分高斯掩码机制，仅在顶部-k 稀疏化梯度分量中注入校准后的、独立同分布的高斯噪声，以保护隐私。
• 该方法采用两阶段流程：首先，通过选择最大幅值分量对梯度进行稀疏化；其次，通过在这些分量上添加差分隐私的加性高斯噪声来实现隐私保护。
• 理论分析基于一种新型收敛边界，其收敛速率为 \tilde{O}(1/\sqrt{NT})，推导于非凸、去中心化及带噪声梯度更新的设定下。
• 该框架专为去中心化边缘网络设计，避免中心化协调，通过稀疏且掩码化的传输减少通信负载。
• 理论保证涵盖隐私（差分隐私）与通信效率（稀疏化增益），并明确给出了隐私预算与稀疏化比率的边界。

实验结果

研究问题

• RQ1 在去中心化边缘学习中，如何联合优化梯度稀疏化与差分隐私，以在保障隐私的同时最小化通信负载？
• RQ2 结合稀疏梯度传输与差分隐私噪声注入的去中心化 SGD 方法，其理论收敛速率是多少？
• RQ3 稀疏化引入的噪声与差分隐私噪声之间的相互作用如何影响训练收敛性与模型效用？
• RQ4 在边缘学习系统中，隐私预算、稀疏化比率与收敛速率之间的最优权衡是什么？
• RQ5 是否能够通过统一算法同时实现强隐私保护与高通信效率，而不损害模型准确率或收敛速度？

主要发现

• 所提出的 SDM-DSGD 方法在非凸分布式学习中实现了 \tilde{O}(1/\sqrt{NT}) 的收敛速率，其中 N 为客户端数量，T 为迭代次数。
• 该方法在差分隐私下提供了可证明的隐私保障，隐私预算通过噪声方差与稀疏化比率定量界定。
• 通过稀疏化显著提升了通信效率，减少了传输的梯度分量数量，且理论边界明确了发送概率。
• 理论分析表明，通过适当的噪声缩放，可以有效管理稀疏化噪声与差分隐私噪声之间的相互作用，使两者能够共存。
• 在 MNIST 与 CIFAR-10 上的大量实验表明，SDM-DSGD 在降低通信成本并保护隐私的同时，仍能保持具有竞争力的模型准确率。
• 实验结果表明，该方法在隐私与通信效率方面均优于现有方法，且实证结果验证了理论权衡与设计指导。