[论文解读] Shared Adversarial Unlearning: Backdoor Mitigation by Unlearning Shared Adversarial Examples

Shaokui Wei, Mingda Zhang+2 more|arXiv (Cornell University)|Jul 20, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文提出了一种新型后门防御方法——共享对抗性遗忘（Shared Adversarial Unlearning, SAU），通过识别并遗忘同时存在于后门模型与净化模型中的共享对抗性样本（SAE），从而降低后门风险。SAU基于后门风险的新上界，构建双层优化问题，提升了模型鲁棒性，并在多种数据集和攻击类型（包括多目标与样本特定后门攻击）下实现了最先进性能。

ABSTRACT

Backdoor attacks are serious security threats to machine learning models where an adversary can inject poisoned samples into the training set, causing a backdoored model which predicts poisoned samples with particular triggers to particular target classes, while behaving normally on benign samples. In this paper, we explore the task of purifying a backdoored model using a small clean dataset. By establishing the connection between backdoor risk and adversarial risk, we derive a novel upper bound for backdoor risk, which mainly captures the risk on the shared adversarial examples (SAEs) between the backdoored model and the purified model. This upper bound further suggests a novel bi-level optimization problem for mitigating backdoor using adversarial training techniques. To solve it, we propose Shared Adversarial Unlearning (SAU). Specifically, SAU first generates SAEs, and then, unlearns the generated SAEs such that they are either correctly classified by the purified model and/or differently classified by the two models, such that the backdoor effect in the backdoored model will be mitigated in the purified model. Experiments on various benchmark datasets and network architectures show that our proposed method achieves state-of-the-art performance for backdoor defense.

研究动机与目标

• 为应对深度神经网络中后门攻击带来的关键安全威胁，即中毒模型会对携带特定触发器的输入产生错误分类。
• 克服现有基于对抗训练的防御方法在面对样本特定或非加法性触发器时的局限性。
• 开发一种净化方法，仅使用少量干净数据集即可有效作用于已中毒的模型。
• 建立对抗风险与后门风险之间的理论联系，从而基于共享对抗性样本提出后门风险的新上界。

提出的方法

• 推导一种新的后门风险上界，强调由后门模型与净化模型均错误分类的共享对抗性样本（SAE）。
• 构建双层优化问题：外层目标通过遗忘SAE来最小化后门风险，内层目标通过对抗训练生成SAE。
• 通过识别在后门模型与净化模型中均被错误分类为同一错误类别的对抗样本，生成SAE。
• 通过训练净化模型使其正确分类SAE，或使其对SAE分配与后门模型不同的标签，从而实现SAE的遗忘。
• 应用隐式超梯度下降高效求解双层优化问题，实现稳定且有效的遗忘过程。
• 通过泛化SAE的识别与遗忘流程，将方法扩展至防御多目标与多触发器后门攻击。

Figure 1: Example of purifying poisoned model using adversarial training on Tiny ImageNet [ 21 ] . The curves for Accuracy, Backdoor Risk and Adversarial Risk are indicated by Green, Orange and Purple, respectively.

实验结果

研究问题

• RQ1 共享对抗性样本能否作为中毒模型中后门风险的可靠代理？
• RQ2 如何利用对抗风险来界定并缓解净化模型中的后门风险？
• RQ3 双层优化框架能否有效遗忘共享对抗性样本以降低后门有效性？
• RQ4 所提方法是否能泛化至具有样本特定或非加法性触发器的复杂后门攻击？
• RQ5 SAU在多种数据集、模型架构与攻击类型下的性能与最先进防御方法相比如何？

主要发现

• SAU在七个基准后门攻击上均达到最先进性能，包括BadNets、Blended、WaNet、LF、SSBA、SIG和ALL-to-ALL攻击。
• 在CIFAR-10数据集上使用PreAct-ResNet18与10%中毒比例时，SAU在所有基线方法中实现了最低的平均ASR（1.56%）与最高的平均R-ACC（90.77%）。
• 在ALL-to-ALL攻击设置下，SAU实现了最佳平均R-ACC（90.77%）与最低平均ASR（1.56%），甚至优于专用防御方法。
• 即使在后门模型ASR较低（例如某些情况下为2.5%）时，SAU仍保持强大性能，展现出对弱后门的鲁棒性。
• 该方法有效缓解了多目标后门攻击，所有攻击中平均ASR最低（1.56%），平均R-ACC最高（90.77%）。
• 在所有评估指标上，SAU的防御性能均优于六种最先进基线方法，包括NAD、EP、i-BAU与ANP。

Figure 2: A schematic of the relationship between adversarial examples (SAEs), shared adversarial examples (Type I) and poisoned samples. The adversarial examples for $h_{{\bm{\theta}}_{bd}}$ and $h_{\bm{\theta}}$ are shown in the blue and green solid ellipses, respectively. The poisoned samples are