[论文解读] Rethinking the Backdoor Attacks' Triggers: A Frequency Perspective

Yi Zeng, Won Park+2 more|arXiv (Cornell University)|Apr 7, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用 15

一句话总结

本文揭示了现有深度学习中的后门触发器在不同数据集和分辨率下普遍存在严重的高频伪影，通过频域分析可实现98.5%的检测准确率。本文提出一种基于双层优化的方法，生成无高频伪影的平滑触发器，在保持攻击有效性的同时规避检测，并证明通过在防御设计中引入此类频域不可见的触发器，可显著增强防御能力。

ABSTRACT

Backdoor attacks have been considered a severe security threat to deep learning. Such attacks can make models perform abnormally on inputs with predefined triggers and still retain state-of-the-art performance on clean data. While backdoor attacks have been thoroughly investigated in the image domain from both attackers' and defenders' sides, an analysis in the frequency domain has been missing thus far. This paper first revisits existing backdoor triggers from a frequency perspective and performs a comprehensive analysis. Our results show that many current backdoor attacks exhibit severe high-frequency artifacts, which persist across different datasets and resolutions. We further demonstrate these high-frequency artifacts enable a simple way to detect existing backdoor triggers at a detection rate of 98.50% without prior knowledge of the attack details and the target model. Acknowledging previous attacks' weaknesses, we propose a practical way to create smooth backdoor triggers without high-frequency artifacts and study their detectability. We show that existing defense works can benefit by incorporating these smooth triggers into their design consideration. Moreover, we show that the detector tuned over stronger smooth triggers can generalize well to unseen weak smooth triggers. In short, our work emphasizes the importance of considering frequency analysis when designing both backdoor attacks and defenses in deep learning.

研究动机与目标

• 研究现有后门触发器在不同数据集和分辨率下的频域特性。
• 识别当前后门触发器中高频伪影的根本原因及其对可检测性的影响。
• 开发一种生成无高频伪影的平滑后门触发器的方法，同时保持攻击成功率。
• 评估平滑触发器在不同防御机制下的泛化能力和可检测性。
• 证明通过在训练和检测流程中引入频域不可见触发器，可增强现有防御机制。

提出的方法

• 使用傅里叶变换对多个数据集和分辨率下的现有后门触发器进行全面的频域分析。
• 将平滑触发器生成问题建模为双层优化任务，以平衡隐蔽性与攻击有效性。
• 提出一种实用的启发式算法求解双层问题，生成高频分量最小化的平滑触发器。
• 设计一种基于频率的检测流水线，采用数据增强的监督学习方法，无需事先了解攻击类型或模型。
• 在平滑触发器上微调检测器，以提升对未见过的低通滤波触发器的泛化能力，并在多种触发器类型上评估检测性能。
• 对如元神经分析（MNA）等防御机制进行消融研究，评估在设计中引入平滑触发器后的改进效果。

实验结果

研究问题

• RQ1 现有后门触发器是否在不同数据集和图像分辨率下表现出一致的高频伪影？
• RQ2 当前后门触发器生成方法中高频伪影的根本原因是什么？
• RQ3 能否生成既保持高攻击成功率又消除高频分量的平滑后门触发器？
• RQ4 基于频域的检测能否在不事先了解攻击或模型的情况下有效识别现有触发器？
• RQ5 通过在训练和检测流程中引入平滑触发器，能否使防御机制更加鲁棒？

主要发现

• 现有后门触发器在多个数据集和分辨率下均表现出严重的高频伪影，使其可通过频域分析被检测。
• 基于频率的检测流水线在不事先了解攻击或模型的情况下，对现有触发器实现了98.50%的检测率。
• 高频伪影的来源既包括触发器图案本身，也包括触发器生成过程中使用的插入方法。
• 所提出的基于双层优化的方法生成的平滑触发器可消除高频分量，同时保持较高的攻击成功率。
• 在平滑触发器上微调的检测器对未见过的低通滤波触发器具有良好的泛化能力，在多种触发器类型上平均检测准确率达到89.37%。
• 将防御机制如MNA升级以考虑平滑触发器后，其AUC得分从0.0776提升至0.694，检测准确率提升至42.85%，证明了防御鲁棒性的显著增强。