[论文解读] SignGuard: Byzantine-robust Federated Learning through Collaborative Malicious Gradient Filtering.

Jian Xu, Shao‐Lun Huang+2 more|arXiv (Cornell University)|Sep 13, 2021

Privacy-Preserving Technologies in Data参考文献 39被引用 11

一句话总结

SignGuard 提出了一种拜占庭鲁棒的联邦学习框架，通过协同分析梯度符号、幅值和相似性统计量来检测并过滤恶意梯度。在非独立同分布（non-IID）数据设置下，该方法在图像和文本分类任务中对先进模型投毒攻击的防御效果优于现有统计防御方法。

ABSTRACT

Gradient-based training in federated learning is known to be vulnerable to faulty/malicious worker nodes, which are often modeled as Byzantine clients. Previous work either makes use of auxiliary data at parameter server to verify the received gradients or leverages statistic-based methods to identify and remove malicious gradients from Byzantine clients. In this paper, we acknowledge that auxiliary data may not always be available in practice and focus on the statistic-based approach. However, recent work on model poisoning attacks have shown that well-crafted attacks can circumvent most of existing median- and distance-based statistical defense methods, making malicious gradients indistinguishable from honest ones. To tackle this challenge, we show that the element-wise sign of gradient vector can provide valuable insight in detecting model poisoning attacks. Based on our theoretical analysis of state-of-the-art attack, we propose a novel approach, extit{SignGuard}, to enable Byzantine-robust federated learning through collaborative malicious gradient filtering. More precisely, the received gradients are first processed to generate relevant magnitude, sign, and similarity statistics, which are then collaboratively utilized by multiple, parallel filters to eliminate malicious gradients before final aggregation. We further provide theoretical analysis of SignGuard by quantifying its convergence with appropriate choice of learning rate and under non-IID training data. Finally, extensive experiments of image and text classification tasks - including MNIST, Fashion-MNIST, CIFAR-10, and AG-News - are conducted together with recently proposed attacks and defense strategies. The numerical results demonstrate the effectiveness and superiority of our proposed approach.

研究动机与目标

• 解决联邦学习在训练过程中因拜占庭客户端注入恶意梯度而带来的脆弱性问题。
• 克服现有统计防御方法的局限性，这些方法容易被复杂的模型投毒攻击所绕过。
• 开发一种不依赖辅助数据的防御机制，从而提升其在真实世界部署中的实用性。
• 通过利用梯度的内在特性，在非独立同分布数据分布下实现鲁棒的收敛。
• 在适当的学习率设置下，为所提出的方法提供理论收敛保证。

提出的方法

• 从接收到的梯度中提取三个关键统计量：幅值、逐元素符号以及客户端之间的成对相似性。
• 部署多个并行过滤器，协同分析这些统计量以检测并隔离恶意梯度。
• 利用梯度的符号模式作为区分特征，基于对最先进投毒攻击的理论分析。
• 应用一种过滤机制，在最终模型聚合前，基于结合的符号与幅值统计量移除异常值。
• 将过滤后的梯度集成到标准的联邦平均过程中，并引入自适应学习率控制。
• 理论分析表明，在选择合适学习率的情况下，该方法在非独立同分布数据下可实现收敛。

实验结果

研究问题

• RQ1 梯度向量的逐元素符号能否作为联邦学习中检测模型投毒攻击的可靠信号？
• RQ2 基于符号、幅值和相似性统计量的协同过滤机制，在防御高级拜占庭攻击方面效果如何？
• RQ3 与现有统计防御方法相比，SignGuard 在非独立同分布数据分布下是否仍能保持收敛性和模型准确率？
• RQ4 SignGuard 是否能在不依赖辅助数据或模型假设的前提下检测并过滤恶意梯度？
• RQ5 在图像和文本分类任务中，SignGuard 与近期提出的攻击和防御方法相比，在鲁棒性和性能方面表现如何？

主要发现

• 即使攻击被精心设计以绕过中位数和距离-based 防御，SignGuard 仍能有效检测并过滤恶意梯度。
• 在 MNIST、Fashion-MNIST、CIFAR-10 和 AG-News 数据集上，各种投毒攻击场景下，该方法的测试准确率均高于基线防御方法。
• 结合使用符号、幅值和相似性统计量的协同过滤机制，显著提升了防御鲁棒性，优于单一统计量方法。
• 理论分析证实，在选择合适学习率的情况下，SignGuard 在非独立同分布数据下可实现收敛。
• 实验结果表明，即使多达 30% 的客户端为拜占庭客户端，SignGuard 仍能保持高性能的模型表现。
• 该方法在多种联邦学习基准测试中，无论在鲁棒性还是泛化能力方面，均优于当前最先进防御方法。