[论文解读] Narcissus: A Practical Clean-Label Backdoor Attack with Limited Information

Yi Zeng, Minzhou Pan+4 more|arXiv (Cornell University)|Apr 11, 2022

Adversarial Robustness in Machine Learning被引用 7

一句话总结

Narcissus 提出了一种实用的、与模型无关的干净标签后门攻击，仅需目标类别的代表性样本，而无需完整的训练数据集。通过使用随机增强和变换期望（EOT）合成持久的、类似触发器的模式，其在仅 0.05% 污染比例下，成功率达到先前干净标签攻击的 30.33× 至 64.45×，即使在物理世界场景中以及面对最先进的防御机制时也表现优异。

ABSTRACT

Backdoor attacks insert malicious data into a training set so that, during inference time, it misclassifies inputs that have been patched with a backdoor trigger as the malware specified label. For backdoor attacks to bypass human inspection, it is essential that the injected data appear to be correctly labeled. The attacks with such property are often referred to as "clean-label attacks." Existing clean-label backdoor attacks require knowledge of the entire training set to be effective. Obtaining such knowledge is difficult or impossible because training data are often gathered from multiple sources (e.g., face images from different users). It remains a question whether backdoor attacks still present a real threat. This paper provides an affirmative answer to this question by designing an algorithm to mount clean-label backdoor attacks based only on the knowledge of representative examples from the target class. With poisoning equal to or less than 0.5% of the target-class data and 0.05% of the training set, we can train a model to classify test examples from arbitrary classes into the target class when the examples are patched with a backdoor trigger. Our attack works well across datasets and models, even when the trigger presents in the physical world. We explore the space of defenses and find that, surprisingly, our attack can evade the latest state-of-the-art defenses in their vanilla form, or after a simple twist, we can adapt to the downstream defenses. We study the cause of the intriguing effectiveness and find that because the trigger synthesized by our attack contains features as persistent as the original semantic features of the target class, any attempt to remove such triggers would inevitably hurt the model accuracy first.

研究动机与目标

• 解决现有干净标签后门攻击需要完整训练数据访问的问题，而该需求在现实世界去中心化数据收集场景中往往不可行。
• 设计一种实用的后门攻击方法，在保持高攻击成功率的同时，维持模型在干净输入上的准确率。
• 确保攻击在真实物体上应用触发器的物理世界场景中具备鲁棒性。
• 评估攻击对最先进的防御机制的有效性，揭示其局限性。
• 证明仅掌握最少知识——即目标类别的代表性样本——即可实施高度有效的后门攻击。

提出的方法

• 通过应用随机空间填充（最大 64×64 尺寸）和零填充，合成后门触发器，生成一致、微小且位置可变的触发器。
• 应用随机色调偏移（±0.3 比例）和随机旋转，以增强对环境变化的鲁棒性。
• 使用变换期望（EOT）技术，生成一个能泛化于随机增强的单一鲁棒触发器。
• 在仅将 0.05% 的目标类数据（例如 Tiny-ImageNet 中的“bullfrog”）替换为带触发器的样本后，对模型进行训练。
• 通过确保触发器在语义上与目标类别一致，使污染数据看起来自然标注，从而保持模型在干净输入上的准确率。
• 利用合成触发器中包含与目标类别相似的持久特征，使得任何移除操作都会损害模型性能。

实验结果

研究问题

• RQ1 当攻击者仅能访问目标类别的代表性样本，而对其他类别一无所知时，干净标签后门攻击是否仍有效？
• RQ2 所提出的触发器合成方法在极低污染比例（如 0.05%）下，能否实现高攻击成功率？
• RQ3 在物理世界部署中，由于光照、角度和位置变化，合成的触发器是否仍能保持高鲁棒性？
• RQ4 最先进的防御机制在不降低干净数据上模型准确率的前提下，能在多大程度上检测或移除 Narcissus 触发器？
• RQ5 为何 Narcissus 触发器即使在防御机制旨在消除后门模式时也极难被移除？

主要发现

• 与需要完整训练数据访问的现有干净标签攻击（如 LC、HTBA、SAA）相比，Narcissus 的攻击成功率高出 30.33× 至 64.45×。
• 攻击在标准测试集上保持了高模型准确率（与干净训练相当），且未使用触发器，确保了模型的可信性。
• 在物理世界评估中，仅 Narcissus 触发器模型能成功使带触发器的测试输入误分类，而白色方块和随机噪声触发器则失败。
• 该攻击在原始形式下成功规避了所有测试的最先进的防御机制，并可进一步适配以绕过修改后的防御变体。
• 由于触发器具有持久性——因其与目标类别的语义相似性——任何移除尝试都会导致干净准确率下降，使其本质上难以消除。
• 该方法在多种数据集和模型上展现出鲁棒的泛化能力，包括在 Tiny-ImageNet 上的 ResNet-18 模型，在数字和物理触发条件下的表现均稳定。