[论文解读] Neural Attention Distillation: Erasing Backdoor Triggers from Deep Neural Networks

Yige Li, Xixiang Lyu+4 more|arXiv (Cornell University)|Jan 15, 2021

Adversarial Robustness in Machine Learning参考文献 53被引用 139

一句话总结

本文提出 Neural Attention Distillation (NAD)，一种基于蒸馏的防御方法，利用教师网络引导带后门的学生网络进行微调，使注意力图对齐；NAD 在多种攻击下仅用 5% 的干净数据就能有效消除后门触发，并保持干净准确率。

ABSTRACT

Deep neural networks (DNNs) are known vulnerable to backdoor attacks, a training time attack that injects a trigger pattern into a small proportion of training data so as to control the model's prediction at the test time. Backdoor attacks are notably dangerous since they do not affect the model's performance on clean examples, yet can fool the model to make incorrect prediction whenever the trigger pattern appears during testing. In this paper, we propose a novel defense framework Neural Attention Distillation (NAD) to erase backdoor triggers from backdoored DNNs. NAD utilizes a teacher network to guide the finetuning of the backdoored student network on a small clean subset of data such that the intermediate-layer attention of the student network aligns with that of the teacher network. The teacher network can be obtained by an independent finetuning process on the same clean subset. We empirically show, against 6 state-of-the-art backdoor attacks, NAD can effectively erase the backdoor triggers using only 5\% clean training data without causing obvious performance degradation on clean examples. Code is available in https://github.com/bboylyg/NAD.

研究动机与目标

• 推动对后门攻击的鲁棒防御，在触发器不影响干净准确率但会劫持预测的情形下。
• 开发一个微调框架，使用知识蒸馏和神经注意力传递来抹除后门触发器。
• 证明 NAD 在有限的干净数据条件下对多种后门攻击类型均有效，同时维持干净准确度。

提出的方法

• 定义一个注意力算子 A，用于从层激活中产生注意力图。
• 将 NAD 损失计算为教师和学生注意力图在残差组之间的归一化 L2 距离（Equation 2）。
• 通过在一个小的干净数据子集上对带后门的模型进行微调来训练教师网络。
• 优化总损失 L_total，结合学生的交叉熵损失和 NAD 损失（Equation 3）。
• 使用 5% 的干净数据和 10 个训练周期，使用 SGD 微调学生并形成教师。

实验结果

研究问题

• RQ1 在多种后门攻击中，NAD 能否在尽量少的干净数据下移除后门触发器？
• RQ2 基于注意力的蒸馏在 ASR 和干净 ACC 方面与标准微调及其他抹除方法相比如何？
• RQ3 在注意力表示以及教师-学生配置方面，哪些选择能实现最佳的抹除效果？

主要发现

• NAD 将平均攻击成功率（ASR）从大约 99–100% 降低到六次攻击的平均约 7.2%，同时干净准确率仅轻微下降（约 2.7%）。
• 在不同攻击类型中，NAD 一直优于标准微调、Fine-Pruning 和 mode connectivity repair 在抹除后门方面。
• 基于注意力的蒸馏（尤其是 A_sum^2）在抹除后门方面提供更强的效果，并使带后门与良性区域之间的分离更加清晰，相较于直接特征蒸馏。
• NAD 可以快速收敛（少量迭代）并且在不同的教师-学生结构选择和不同干净数据量下都保持有效。