[论文解读] RSA: Byzantine-Robust Stochastic Aggregation Methods for Distributed Learning from Heterogeneous Datasets

Liping Li, Wei Xu+3 more|arXiv (Cornell University)|Nov 9, 2018

Stochastic Gradient Optimization Techniques参考文献 24被引用 19

一句话总结

该论文提出RSA（拜占庭鲁棒随机聚合），一种新型的鲁棒随机子梯度方法，用于在拜占庭攻击下进行分布式学习，其中部分工作节点可能发送任意恶意更新。通过在目标函数中引入ℓp-范数正则化，RSA在非独立同分布（non-iid）数据下实现了与标准SGD相同的收敛速率，且无需i.i.d.假设或复杂的梯度选择子程序，同时保证收敛到近似最优解，误差由拜占庭工作节点的数量有界控制。

ABSTRACT

In this paper, we propose a class of robust stochastic subgradient methods for distributed learning from heterogeneous datasets at presence of an unknown number of Byzantine workers. The Byzantine workers, during the learning process, may send arbitrary incorrect messages to the master due to data corruptions, communication failures or malicious attacks, and consequently bias the learned model. The key to the proposed methods is a regularization term incorporated with the objective function so as to robustify the learning task and mitigate the negative effects of Byzantine attacks. The resultant subgradient-based algorithms are termed Byzantine-Robust Stochastic Aggregation methods, justifying our acronym RSA used henceforth. In contrast to most of the existing algorithms, RSA does not rely on the assumption that the data are independent and identically distributed (i.i.d.) on the workers, and hence fits for a wider class of applications. Theoretically, we show that: i) RSA converges to a near-optimal solution with the learning error dependent on the number of Byzantine workers; ii) the convergence rate of RSA under Byzantine attacks is the same as that of the stochastic gradient descent method, which is free of Byzantine attacks. Numerically, experiments on real dataset corroborate the competitive performance of RSA and a complexity reduction compared to the state-of-the-art alternatives.

研究动机与目标

• 解决分布式机器学习中拜占庭故障的关键挑战，即某些工作节点可能发送任意或损坏的更新。
• 开发一种不依赖i.i.d.数据假设的鲁棒学习框架，该假设在现实联邦学习场景中通常不成立。
• 即使拜占庭工作节点数量未知，也能确保收敛到近似最优解，且性能下降仅与故障工作节点数量成正比。
• 在拜占庭攻击下实现与标准SGD相当的收敛速率，保持效率的同时增强鲁棒性。

提出的方法

• 该方法引入带ℓp-范数项的正则化目标函数，通过惩罚主模型与工作节点模型之间的偏差，有效减轻拜占庭更新的影响。
• RSA采用随机子梯度下降算法，主节点在应用鲁棒化正则化项后聚合梯度。
• 正则化项源自主模型与工作节点模型之间ℓp-范数距离的次微分，从而对任意拜占庭行为具备鲁棒性。
• 该算法设计计算高效，避免了如几何中位数或Krum等昂贵的梯度选择过程。
• 收敛性分析基于对期望次梯度范数的有界性分析，并利用目标函数的强凸性和Lipschitz连续性假设。
• 该方法推广至多种基于不同ℓp-范数（如ℓ1、ℓ2）的变体，每种均针对特定的鲁棒性与稀疏性权衡进行优化。

实验结果

研究问题

• RQ1 在工作节点间数据非独立同分布（non-iid）的情况下，分布式学习算法能否在拜占庭攻击下维持收敛性和性能？
• RQ2 当拜占庭工作节点数量未知且其更新被任意破坏时，如何在分布式学习中实现鲁棒性？
• RQ3 在无拜占庭攻击时，鲁棒学习的收敛速率能否与标准SGD保持一致？
• RQ4 在非独立同分布设置下，学习误差对拜占庭工作节点数量的依赖关系如何？

主要发现

• RSA收敛至近似最优解，学习误差受与拜占庭工作节点数量成正比的项有界。
• RSA的收敛速率与非拜占庭条件下的标准随机梯度下降（SGD）一致，保持了效率。
• 该方法无需i.i.d.数据假设，适用于具有异构数据分布的真实联邦学习场景。
• 在真实数据集上的数值实验表明，RSA相比最先进鲁棒方法实现了更具竞争力的性能，且计算复杂度更低。
• 理论分析证实，拜占庭工作节点引入的误差是有界的，且仅依赖于其数量，而非其行为。
• 在温和正则性条件下，即使高达常数比例的工作节点为拜占庭节点，该算法仍能保持稳定与收敛。