[论文解读] Rethinking Backdoor Attacks

Alaa Khaddaj, Guillaume Leclerc+5 more|arXiv (Cornell University)|Jul 19, 2023

Adversarial Robustness in Machine LearningComputer Science被引用 3

一句话总结

本文通过论证在缺乏结构假设的情况下，后门触发器与自然数据特征无法区分，从而重新思考后门攻击，提出一种基于识别数据中最强特征的检测方法。该方法基于理论保证，在多种攻击场景下有效检测并移除后门样本，同时保持模型准确率。

ABSTRACT

In a backdoor attack, an adversary inserts maliciously constructed backdoor examples into a training set to make the resulting model vulnerable to manipulation. Defending against such attacks typically involves viewing these inserted examples as outliers in the training set and using techniques from robust statistics to detect and remove them. In this work, we present a different approach to the backdoor attack problem. Specifically, we show that without structural information about the training data distribution, backdoor attacks are indistinguishable from naturally-occurring features in the data--and thus impossible to "detect" in a general sense. Then, guided by this observation, we revisit existing defenses against backdoor attacks and characterize the (often latent) assumptions they make and on which they depend. Finally, we explore an alternative perspective on backdoor attacks: one that assumes these attacks correspond to the strongest feature in the training data. Under this assumption (which we make formal) we develop a new primitive for detecting backdoor attacks. Our primitive naturally gives rise to a detection algorithm that comes with theoretical guarantees and is effective in practice.

研究动机与目标

• 挑战将后门样本视为异常值的主流观点，论证在缺乏分布假设的情况下，后门触发器与自然特征无法区分。
• 将后门检测重新定义为特征检测，具体为识别训练数据中最具影响力的特征。
• 开发一种具有理论基础的检测原语，将最强特征对应的样本标记为潜在后门样本。
• 在多种后门攻击设置下实证验证该方法的有效性，同时保持高模型准确率。
• 阐明现有防御方法隐含的假设，并揭示其必要性。

提出的方法

• 该方法将后门触发器视为数据分布中的最强特征，而非异常值。
• 引入一种原语，通过从数据子集的模型梯度中构建的数据-模型矩阵来度量特征强度。
• 对数据-模型矩阵应用局部搜索算法，以识别最具影响力的特征，该特征与后门样本高度相关。
• 基于样本对最强特征的贡献度计算得分，得分越高表示越可能是后门样本。
• 将得分最高的样本从训练集中移除，形成一种防御机制。
• 为该方法提供理论保证，证明在假设触发器为最强特征的前提下，其能够可靠检测并移除后门样本。

实验结果

研究问题

• RQ1 在缺乏对数据分布先验知识的情况下，能否将后门触发器与自然数据特征区分开？
• RQ2 后门检测是否等价于识别训练数据中的最强特征？
• RQ3 现有防御方法隐含依赖哪些假设？如何使其显式化？
• RQ4 基于特征强度的检测方法能否同时实现理论保证与实际有效性？
• RQ5 在多种后门攻击场景下，该方法与现有防御方法相比，在准确率与鲁棒性方面表现如何？

主要发现

• 本文证明，在缺乏对数据分布的结构假设时，后门触发器与自然特征无法区分。
• 所提出的检测方法在所有评估的后门攻击设置中AUROC得分均超过91，表明特征强度得分与后门样本之间存在强相关性。
• 在所有测试设置中，移除特征强度得分最高的10%样本后，干净数据上的准确率保持较高水平，而后门数据上的准确率显著下降。
• 该方法在检测与防御性能上均优于或匹配ISPL、SS、SPECTRE和AC等基线方法。
• 理论分析证实，在假设后门触发器为最强特征的前提下，该方法能够可靠识别并移除后门样本。
• 实证结果表明，即使在高攻击预算（如30%污染）下，该方法依然有效，且在多个数据集和攻击类型下表现出强鲁棒性。