[论文解读] Privacy Preserving Stochastic Channel-Based Federated Learning with Neural Network Pruning

Rulin Shao, Hui Liu+1 more|arXiv (Cornell University)|Oct 4, 2019

Privacy-Preserving Technologies in Data参考文献 33被引用 5

一句话总结

该论文提出了一种基于随机通道的联邦学习剪枝方法（Stochastic Channel-Based Federated Learning with Pruning, SCBFwP），这是一种保护隐私的联邦学习框架，通过有选择性地仅上传本地模型中最具活性的梯度通道至服务器，从而在保持高性能的同时减少数据泄露。通过结合通道级梯度选择与迭代式神经网络剪枝，SCBFwP 实现了更快的收敛速度，并相较于联邦平均（Federated Averaging）将传输信息泄露减少了高达 85%，且剪枝后训练时间缩短了 57%。

ABSTRACT

Artificial neural network has achieved unprecedented success in a wide variety of domains such as classifying, predicting and recognizing objects. This success depends on the availability of big data since the training process requires massive and representative data sets. However, data collection is often prevented by privacy concerns and people want to take control over their sensitive information during both training and using processes. To address this problem, we propose a privacy-preserving method for the distributed system, Stochastic Channel-Based Federated Learning (SCBF), which enables the participants to train a high-performance model cooperatively without sharing their inputs. We design, implement and evaluate a channel-based update algorithm for the central server in a distributed system, which selects the channels with regard to the most active features in a training loop and uploads them as learned information from local datasets. A pruning process is applied to the algorithm based on the validation set, which serves as a model accelerator. In the experiment, our model presents equal performances and higher saturating speed than the Federated Averaging method which reveals all the parameters of local models to the server when updating. We also demonstrate that the converging rates could be increased by introducing a pruning process.

研究动机与目标

• 解决在模型更新过程中，从梯度值和选择机制两方面导致的联邦学习隐私泄露问题。
• 在不牺牲模型性能的前提下，减少通信开销与传输信息泄露。
• 在保护隐私的设置下，通过迭代式神经网络剪枝加速训练收敛。
• 评估在基于通道的联邦学习框架中，剪枝率、更新频率与模型性能之间的权衡关系。

提出的方法

• SCBF 框架基于幅度阈值，为每层选择并仅上传最具活性的梯度通道，从而减少传输至服务器的数据量。
• 对本地模型的梯度应用通道级稀疏化机制，确保仅传输高影响力特征。
• 在全局训练循环中迭代应用神经网络剪枝，以减小模型规模并降低计算成本。
• 剪枝过程由验证集性能引导，每轮训练中动态调整剪枝率以保持准确性。
• 服务器仅聚合所选通道，避免完整模型权重的传输，从而限制信息暴露。
• 通过稀疏上传与选择性通道传输，增强了差分隐私保护，降低了模型反演攻击的风险。

实验结果

研究问题

• RQ1 选择性基于通道的梯度上传是否能在保持模型性能的同时，减少联邦学习中的传输信息泄露？
• RQ2 在保护隐私的联邦学习环境中，迭代式神经网络剪枝如何影响收敛速度与最终模型准确率？
• RQ3 为最大化训练效率，每轮剪枝率与总剪枝比例之间应如何实现最优平衡？
• RQ4 通道的更新频率如何影响隐私保护效果与计算开销？

主要发现

• 与联邦平均相比，SCBFwP 将传输信息泄露减少了 85%，显著提升了隐私保护水平。
• 该模型实现了更高的饱和速度，且 AUCROC（0.9769）与 AUCPR（0.9663）与联邦平均（全参数上传）相当或更优。
• 剪枝使 SCBF 的训练时间缩短 57%，联邦平均缩短 48%，SCBFwP 在剪枝后于 8,469 秒内完成训练。
• 每轮采用固定剪枝率的模型性能比采用固定总剪枝比例的模型更稳定，表明对训练动态具有更好的控制能力。
• 较低的更新频率（如 10%）可实现更短的训练时间，表明隐私与效率之间存在权衡。
• 每轮剪枝率的最优范围约为 30%–50%，即使在总剪枝比例达 47% 时，性能仍保持稳定。