[论文解读] SLSGD: Secure and Efficient Distributed On-device Machine Learning

Cong Xie, Sanmi Koyejo+1 more|arXiv (Cornell University)|Mar 16, 2019

Privacy-Preserving Technologies in Data参考文献 30被引用 4

一句话总结

SLSGD 是一种安全、通信高效的设备端分布式学习算法，通过使用带有鲁棒聚合和移动平均的本地随机梯度下降，在非独立同分布（non-IID）和异构环境下容忍数据中毒攻击并实现收敛。该算法可实现可证明的收敛性，并在少量工作者被攻破时仍能稳定训练。

ABSTRACT

We consider distributed on-device learning with limited communication and security requirements. We propose a new robust distributed optimization algorithm with efficient communication and attack tolerance. The proposed algorithm has provable convergence and robustness under non-IID settings. Empirical results show that the proposed algorithm stabilizes the convergence and tolerates data poisoning on a small number of workers.

研究动机与目标

• 解决设备端机器学习中通信受限、计算异构性和非独立同分布（non-IID）数据带来的挑战。
• 设计一种分布式优化算法，在数据中毒攻击下仍能保持收敛性和鲁棒性。
• 为非独立同分布和异构设置提供理论收敛保证，而此前的工作依赖于独立同分布（IID）或同质假设。
• 通过鲁棒聚合和移动平均技术稳定训练，减轻因同步频率低导致的误差累积和方差问题。

提出的方法

• 使用本地SGD，每个全局更新前进行多次本地迭代，以减少通信开销。
• 通过截断均值（trimmed mean）实现鲁棒聚合，过滤掉可能被污染的工作者发送的异常模型。
• 对全局模型更新应用移动平均，以降低因同步频率低导致的方差和误差。
• 每轮全局训练中激活随机子集的工作者，以实现负载均衡并减少通信频率。
• 引入自适应学习率衰减（α）和截断阈值（b），以控制收敛稳定性和鲁棒性。
• 理论分析证明了在非独立同分布和异构设置下，对强凸、非强凸以及受限非凸函数均具有收敛性。

实验结果

研究问题

• RQ1 在通信受限和使用鲁棒聚合的情况下，本地SGD能否在非独立同分布数据分布下实现可证明收敛？
• RQ2 当少量工作者被攻破时，SLSGD如何容忍数据中毒攻击？
• RQ3 本地更新次数及超参数（α, b）对收敛速度和稳定性有何影响？
• RQ4 数据划分不平衡如何影响收敛性？SLSGD能否缓解这种方差？
• RQ5 鲁棒聚合和移动平均能否有效防止中毒攻击下的模型发散？

主要发现

• SLSGD 在非独立同分布和异构设置下，对强凸函数、非强凸函数以及一类受限非凸函数均实现了可证明收敛。
• 采用截断均值（选项II）的SLSGD在每轮中最多40%的数据被污染时，仍能有效防止灾难性发散。
• 较大的b值（截断阈值）和较小的α值（学习率）可提升在中毒攻击和数据不平衡情况下的鲁棒性与收敛速度。
• 每轮全局更新中增加本地迭代次数可加速收敛，实验表明进行3轮本地数据完整遍历（pass=3）时，训练损失下降更快。
• 在无攻击情况下，α=1且b=0（等价于FedAvg）的SLSGD收敛最快，但与其他配置的性能差距极小。
• 在数据划分不平衡和存在攻击的情况下，较小的α值能提供更强的稳定性，且截断均值对防止发散至关重要。