[论文解读] Robust Federated Learning with Attack-Adaptive Aggregation

Ching Pui Wan, Qifeng Chen|arXiv (Cornell University)|Feb 10, 2021

Adversarial Robustness in Machine Learning参考文献 51被引用 4

一句话总结

该论文提出了一种针对联邦学习的攻击自适应聚合机制，利用带有注意力机制的神经网络检测并重新加权来自恶意客户端的污染模型更新。通过在自监督方式下学习各种攻击下模型更新的脆弱区域，该方法在图像和文本基准测试中对模型中毒攻击和后门攻击均实现了最先进水平的防御性能。

ABSTRACT

Federated learning is vulnerable to various attacks, such as model poisoning and backdoor attacks, even if some existing defense strategies are used. To address this challenge, we propose an attack-adaptive aggregation strategy to defend against various attacks for robust federated learning. The proposed approach is based on training a neural network with an attention mechanism that learns the vulnerability of federated learning models from a set of plausible attacks. To the best of our knowledge, our aggregation strategy is the first one that can be adapted to defend against various attacks in a data-driven fashion. Our approach has achieved competitive performance in defending model poisoning and backdoor attacks in federated learning tasks on image and text datasets.

研究动机与目标

• 为解决联邦学习在非独立同分布（non-IID）数据分布下对模型中毒和后门攻击的脆弱性。
• 克服现有聚合规则（如中位数、几何中位数和基于相似度的方法）易被自适应攻击者绕过的局限性。
• 开发一种数据驱动的自适应防御机制，无需事先了解攻击类型即可学习检测攻击模式。
• 通过注意力模块学习到的脆弱性评分，动态重加权客户端更新，从而提升联邦学习的鲁棒性。

提出的方法

• 训练一个基于注意力机制的神经网络，学习模型更新向量的低维表示，识别对各类攻击敏感的区域。
• 在模拟攻击中收集的更新向量上使用自监督学习训练注意力模块，无需依赖标注的攻击数据。
• 通过计算潜在表示与更新向量之间的对齐分数，分配自适应权重，突出良性更新并降低污染更新的权重。
• 应用一种鲁棒聚合规则，结合使用缩放因子 $c$ 和截断函数的重加权更新，以抑制异常值。
• 利用注意力机制近似更新之间的相似度度量，实现对细微攻击（如边缘情况后门）的检测。
• 将学习到的聚合策略集成到联邦平均框架中，实现对未知或演变攻击模式的动态适应。

Figure 1: The overview of our approach for estimating the robust mean ${\bm{\mu}}_{robust}$ of the update vectors.

实验结果

研究问题

• RQ1 数据驱动的自适应聚合策略是否能在联邦学习中防御多样化且自适应的攻击时，优于固定聚合规则？
• RQ2 基于注意力机制的神经网络在无需事先了解攻击类型的情况下，检测细微或边缘情况模型中毒和后门攻击的效能如何？
• RQ3 所提出方法在不同数据集、客户端数量和攻击参数下的泛化能力如何？
• RQ4 在对抗条件下，所提出的鲁棒聚合的理论误差界是多少？其随攻击者比例的变化趋势如何？
• RQ5 注意力机制的近似精度如何影响全局模型的收敛性和鲁棒性？

主要发现

• 所提出的攻击自适应聚合策略在 MNIST、CIFAR-10、Tiny-ImageNet 和 IMDb 数据集上，对模型中毒和后门攻击均表现出具有竞争力的防御性能。
• 该方法在非独立同分布数据和高攻击率条件下，优于经典的鲁棒估计器（如中位数和几何中位数）以及基于相似度的防御方法（如 FoolsGold 和 Krum）。
• 基于注意力的模型成功检测到仅在模型更新的小部分区域被篡改的边缘情况后门攻击，而以往的防御方法往往无法识别此类攻击。
• 理论分析表明，当攻击者比例低于 50% 时，鲁棒估计的误差界受 $2e^{-2c}$ 控制，当 $c=10$ 时，相对误差界约为 $10^{-9}$，表明具有极高的鲁棒性。
• 该方法在不同数据集和客户端配置下具有良好的泛化能力，即使在攻击参数或数据分布变化时，仍能保持强大的防御性能。
• 使用保守的缩放因子 $c$ 可确保对先前未见过的攻击具备鲁棒性，防止错误检测和对良性客户端的误判。

Figure 2: The performance of aggregation strategies in the MNIST (top), CIFAR(middle), ImageNet(bottom) classification task. The ‘no attack’ scenario is combined with the omniscient attack in the left plots.