[论文解读] Watch Out! Simple Horizontal Class Backdoor Can Trivially Evade Defense

Hua Ma, Shang Wang+8 more|arXiv (Cornell University)|Oct 1, 2023

Adversarial Robustness in Machine Learning被引用 4

一句话总结

本文提出了一种新型的横向类别后门攻击（HCB），该攻击利用无害的、与任务无关的特征（例如天气状况、面部表情）在与简单触发器结合时激活后门。与纵向类别后门不同，HCB可规避所有测试的九种最先进防御机制，暴露出当前后门检测机制中的一个关键盲点。

ABSTRACT

All current backdoor attacks on deep learning (DL) models fall under the category of a vertical class backdoor (VCB) -- class-dependent. In VCB attacks, any sample from a class activates the implanted backdoor when the secret trigger is present. Existing defense strategies overwhelmingly focus on countering VCB attacks, especially those that are source-class-agnostic. This narrow focus neglects the potential threat of other simpler yet general backdoor types, leading to false security implications. This study introduces a new, simple, and general type of backdoor attack coined as the horizontal class backdoor (HCB) that trivially breaches the class dependence characteristic of the VCB, bringing a fresh perspective to the community. HCB is now activated when the trigger is presented together with an innocuous feature, regardless of class. For example, the facial recognition model misclassifies a person who wears sunglasses with a smiling innocuous feature into the targeted person, such as an administrator, regardless of which person. The key is that these innocuous features are horizontally shared among classes but are only exhibited by partial samples per class. Extensive experiments on attacking performance across various tasks, including MNIST, facial recognition, traffic sign recognition, object detection, and medical diagnosis, confirm the high efficiency and effectiveness of the HCB. We rigorously evaluated the evasiveness of the HCB against a series of eleven representative countermeasures, including Fine-Pruning (RAID 18'), STRIP (ACSAC 19'), Neural Cleanse (Oakland 19'), ABS (CCS 19'), Februus (ACSAC 20'), NAD (ICLR 21'), MNTD (Oakland 21'), SCAn (USENIX SEC 21'), MOTH (Oakland 22'), Beatrix (NDSS 23'), and MM-BD (Oakland 24'). None of these countermeasures prove robustness, even when employing a simplistic trigger, such as a small and static white-square patch.

研究动机与目标

• 识别并展示一种新型后门攻击，通过利用自然存在的、与任务无关的特征，规避现有防御机制。
• 挑战当前防御机制所依赖的假设，即所有后门攻击均为纵向类别后门（VCB）。
• 揭示现有防御机制（主要针对源类别无关或源类别特定的后门）在面对新型、简单且通用的后门类型时的脆弱性。
• 倡导开发不偏向VCB攻击的防御机制，尤其考虑到SCAB聚焦型对策的广泛应用。

提出的方法

• 提出一种横向类别后门（HCB）攻击，其中后门仅在同时具备自然存在的、与任务无关的特征（例如交通标志识别中的降雨、人脸识别中的微笑）和触发器的样本上被激活。
• 使用简单的静态白方块触发器，证明其规避能力并非依赖于复杂触发器设计，而是源于横向类别结构。
• 将“有效样本”定义为包含无害特征和触发器的任意类别样本，这些样本是唯一能激活后门的样本。
• 提出HCB的一种变体，引入源类别特定行为，仅在特定源类别上激活后门，同时保持较低的误报率。
• 在MNIST、人脸识别、GTSRB和目标检测任务上使用标准深度学习模型（如CNN）评估攻击性能。
• 在模型和数据外包场景下，针对九种SOTA防御（如Neural Cleanse、STRIP、MOTH）测试HCB的规避能力。

实验结果

研究问题

• RQ1 是否存在不依赖于纵向类别的后门攻击类型，从而可规避针对VCB攻击设计的防御？
• RQ2 自然存在的、与任务无关的特征（如天气、面部表情）是否可被利用来构建一种通用且隐蔽的后门攻击？
• RQ3 尽管采用了先进检测技术，为何现有SOTA后门防御仍对所提出的HCB攻击失效？
• RQ4 HCB在不同触发类型（如形变、反射）和后门变体（如源类别特定）之间可泛化的程度如何？
• RQ5 在模型和数据外包环境中，当HCB可规避当前防御时，可行的缓解策略有哪些？

主要发现

• HCB攻击在所有评估任务中均实现了接近完美的攻击成功率（ASR > 95%），包括MNIST、人脸识别、交通标志识别和目标检测。
• 所有九种SOTA防御——Fine-Pruning、STRIP、Neural Cleanse、ABS、Februus、MNTD、SCAn、MOTH和Beatrix——在使用简单白方块触发器时，均未能检测或缓解HCB攻击。
• 即使防御机制应用于使用相同无害特征训练的模型，HCB攻击依然有效，表明横向类别结构破坏了基于类别条件的检测机制。
• 在HCB中引入源类别特定行为后，攻击成功率保持较高水平（>85%），同时非源类别样本的误报率（FPR）保持低且稳定。
• HCB在不同触发类型（白方块、形变、反射）下表现相当，其中白方块触发器达到最高ASR，表明对触发器变化具有鲁棒性。
• HCB攻击不仅限于静态触发器，还可扩展至动态或复合触发器，证明其通用性和适应性。