[论文解读] Poisoned classifiers are not only backdoored, they are fundamentally broken

Mingjie Sun, Siddhant Agarwal+1 more|arXiv (Cornell University)|Oct 18, 2020

Adversarial Robustness in Machine Learning参考文献 35被引用 14

一句话总结

本文提出了一种人机协同的攻击方法，可在不访问原始触发器或训练数据的情况下，为中毒分类器生成有效的替代后门触发器。通过使用去噪平滑（Denoised Smoothing）构建一个鲁棒的分类器，并从中提取对抗性样本中的感知有意义模式，该方法发现了攻击成功率高于原始后门的新触发器，证明了即使对任何拥有模型访问权限的第三方而言，中毒模型在根本上都是不安全的。

ABSTRACT

Under a commonly-studied backdoor poisoning attack against classification models, an attacker adds a small trigger to a subset of the training data, such that the presence of this trigger at test time causes the classifier to always predict some target class. It is often implicitly assumed that the poisoned classifier is vulnerable exclusively to the adversary who possesses the trigger. In this paper, we show empirically that this view of backdoored classifiers is incorrect. We describe a new threat model for poisoned classifier, where one without knowledge of the original trigger, would want to control the poisoned classifier. Under this threat model, we propose a test-time, human-in-the-loop attack method to generate multiple effective alternative triggers without access to the initial backdoor and the training data. We construct these alternative triggers by first generating adversarial examples for a smoothed version of the classifier, created with a procedure called Denoised Smoothing, and then extracting colors or cropped portions of smoothed adversarial images with human interaction. We demonstrate the effectiveness of our attack through extensive experiments on high-resolution datasets: ImageNet and TrojAI. We also compare our approach to previous work on modeling trigger distributions and find that our method are more scalable and efficient in generating effective triggers. Last, we include a user study which demonstrates that our method allows users to easily determine the existence of such backdoors in existing poisoned classifiers. Thus, we argue that there is no such thing as a secret backdoor in poisoned classifiers: poisoning a classifier invites attacks not just by the party that possesses the trigger, but from anyone with access to the classifier.

研究动机与目标

• 挑战一种普遍假设，即中毒分类器中的后门触发器是保密的，仅由原始攻击者控制。
• 开发一种实用且可扩展的方法，无需访问训练数据或原始触发器，即可生成替代后门触发器。
• 证明中毒分类器对能够利用鲁棒化模型对抗性样本中感知模式的第三方存在漏洞。
• 通过用户研究评估该方法的可解释性与有效性，证明其优于现有可解释性与攻击基线方法。

提出的方法

• 对中毒分类器应用去噪平滑（Denoised Smoothing），生成一个保持后门模式的鲁棒、平滑化版本，使其在对抗性样本中仍能保留后门特征。
• 使用标准对抗性攻击方法为该平滑化分类器生成对抗性样本。
• 通过隔离颜色区域或裁剪图像区域，从这些对抗性样本中提取具有感知意义的触发器候选。
• 通过人机协同交互，从提取出的候选中选择并验证有效的触发器模式。
• 通过合成选定模式构建新触发器，并在原始中毒分类器上评估其攻击成功率。
• 在ImageNet和TrojAI数据集上，将新触发器的性能与原始后门及基线方法进行比较。

实验结果

研究问题

• RQ1 在不访问原始触发器或训练数据的情况下，能否为中毒分类器生成有效的替代后门触发器？
• RQ2 一个中毒分类器的鲁棒化版本的对抗性样本是否揭示了可被提取为新触发器的可利用后门模式？
• RQ3 新生成的触发器在攻击成功率方面与原始后门相比表现如何？
• RQ4 与自动化方法相比，通过人工参与选择触发器模式是否能显著提升触发器发现的有效性与可解释性？
• RQ5 该方法在多大程度上能帮助非专家用户检测并理解中毒模型中的后门？

主要发现

• 在ImageNet上，所提方法在颜色触发器和裁剪触发器上的攻击成功率分别达到88.60%和83.00%，均超过原始后门的75.80%成功率。
• 在TrojAI第0轮中，20个分类器的平均攻击成功率高达98.76%，其中最基础一轮的最高成功率达到98.76%。
• 用户研究表明，使用去噪平滑方法的用户在识别中毒模型方面达到了89%的准确率，显著高于基线方法的68%（Basic Adv）和52%（Saliency Map）。
• 使用去噪平滑方法的参与者在中毒图像上构建的触发器平均攻击成功率高达97%，而随机裁剪区域的攻击成功率仅为8%。
• 该方法在高分辨率数据集上展示了生成高质量触发器的可扩展性与高效性，优于先前在建模触发器分布方面的工作。
• 用户研究证实，人机协同方法具有高度可解释性与有效性，能够使用户可靠地检测现实世界中毒模型中的后门。