[论文解读] Stochastic Channel-Based Federated Learning for Medical Data Privacy Preserving

Rulin Shao, Hongyu He+2 more|arXiv (Cornell University)|Oct 23, 2019

Privacy-Preserving Technologies in Data参考文献 31被引用 9

一句话总结

本文提出了一种基于随机通道的联邦学习方法（SCBF），一种保护隐私的联邦学习方法，仅选择性上传梯度通道中激活最活跃的部分（基于范数大小），而非完整的模型权重，从而显著减少数据暴露。SCBF结合剪枝（SCBFwP）通过最小的性能损失将收敛速度加快并减少57%的训练时间，在AUC-ROC和AUCPR方面均优于联邦平均方法，同时保护了患者数据隐私。

ABSTRACT

Artificial neural network has achieved unprecedented success in the medical domain. This success depends on the availability of massive and representative datasets. However, data collection is often prevented by privacy concerns and people want to take control over their sensitive information during both training and using processes. To address this problem, we propose a privacy-preserving method for the distributed system, Stochastic Channel-Based Federated Learning (SCBF), which enables the participants to train a high-performance model cooperatively without sharing their inputs. Specifically, we design, implement and evaluate a channel-based update algorithm for the central server in a distributed system, which selects the channels with regard to the most active features in a training loop and uploads them as learned information from local datasets. A pruning process is applied to the algorithm based on the validation set, which serves as a model accelerator. In the experiment, our model presents better performances and higher saturating speed than the Federated Averaging method which reveals all the parameters of local models to the server when updating. We also demonstrate that the saturating rate of performance could be promoted by introducing a pruning process. And further improvement could be achieved by tuning the pruning rate. Our experiment shows that 57% of the time is saved by the pruning process with only a reduction of 0.0047 in AUCROC performance and a reduction of 0.0068 in AUCPR.

研究动机与目标

• 通过在训练和推理过程中最小化原始数据和模型参数的暴露，解决医疗联邦学习中的隐私泄露问题。
• 缓解逆向模型攻击的风险，此类攻击可能从上传的模型更新中重构出敏感数据。
• 在不牺牲模型性能的前提下，提升联邦系统中的训练效率。
• 通过与通道级梯度选择相结合的新型剪枝过程，加速收敛并降低计算开销。
• 证明选择性、随机的通道上传可实现比全参数平均更高的联邦学习性能。

提出的方法

• 基于所有层中梯度通道的L2范数大小选择上传通道，优先上传在训练过程中具有最大权重更新的通道。
• 采用基于α分位数阈值的随机通道选择策略，确定上传的通道，确保仅共享最活跃的特征。
• 采用两种梯度处理策略：负向选择（丢弃低范数通道）和正向选择（将未选中的通道置零）。
• 引入基于APoZ（基于激活的零值剪枝）的剪枝过程，每轮训练中移除10%的神经元，利用验证集性能指导网络结构的简化。
• 使用服务器端聚合机制，将所有客户端的处理后梯度相加，以更新全局模型，确保各轮之间模型的一致性。
• 将总剪枝比例调整为47%，每轮剪枝率为10%，以在模型效率与性能之间取得平衡。

实验结果

研究问题

• RQ1 在医疗联邦学习中，选择性上传高影响力梯度通道是否能在减少隐私风险的同时保持模型性能？
• RQ2 与全参数平均（如联邦平均）相比，基于随机通道的更新机制在收敛速度和最终性能方面表现如何？
• RQ3 在隐私保护的联邦学习框架中，神经网络剪枝能在多大程度上加速训练并减少通信开销？
• RQ4 在SCBF框架中应用剪枝时，训练时间减少与性能下降之间的权衡如何？
• RQ5 通过限制模型参数的暴露，该方法能否有效抵御逆向模型攻击？

主要发现

• SCBF仅上传10%的通道，即实现了0.9776的AUC-ROC和0.9695的AUCPR，优于上传全部参数的联邦平均方法。
• SCBFwP结合剪枝后，最终性能最高，AUC-ROC达到0.9825，AUCPR达到0.9763，优于SCBF和FA的模型质量。
• 剪枝过程使SCBF的训练时间减少了57%，FA减少了48%，显著提升了计算效率。
• 尽管性能略有下降，但AUCROC仅下降0.0047，AUCPR仅下降0.0068，表明速度与准确率之间具有有利的权衡。
• SCBF的收敛速度优于联邦平均，在前5轮训练中即达到更高性能，显示出更快的收敛速度。
• 与联邦平均相比，该方法的信息交换量减少了85%，同时在AUC-ROC和AUCPR两项指标上均保持了最先进水平。