[论文解读] Revealing Perceptible Backdoors, without the Training Set, via the Maximum Achievable Misclassification Fraction Statistic

Zhen Xiang, David J. Miller+2 more|arXiv (Cornell University)|Nov 18, 2019

Adversarial Robustness in Machine Learning参考文献 44被引用 6

一句话总结

该论文提出了一种无需访问训练数据即可在DNN图像分类器中检测可见后门的后训练检测方法，采用最大可实现误分比例（MAMF）统计量。该方法利用可见后门模式的空间不变性与鲁棒性，实现高精度检测，优于现有方法，并在与不可见后门检测器结合时，可实现对所有隐蔽后门攻击的检测。

ABSTRACT

Recently, a backdoor data poisoning attack was proposed, which adds mislabeled examples to the training set, with an embedded backdoor pattern, aiming to have the classifier learn to classify to a target class whenever the backdoor pattern is present in a test sample. Here, we address post-training detection of innocuous perceptible backdoors in DNN image classifiers, wherein the defender does not have access to the poisoned training set, but only to the trained classifier, as well as unpoisoned examples. This problem is challenging because without the poisoned training set, we have no hint about the actual backdoor pattern used during training. This post-training scenario is also of great import because in many practical contexts the DNN user did not train the DNN and does not have access to the training data. We identify two important properties of perceptible backdoor patterns - spatial invariance and robustness - based upon which we propose a novel detector using the maximum achievable misclassification fraction (MAMF) statistic. We detect whether the trained DNN has been backdoor-attacked and infer the source and target classes. Our detector outperforms other existing detectors and, coupled with an imperceptible backdoor detector, helps achieve post-training detection of all evasive backdoors.

研究动机与目标

• 在防御者无法访问污染训练集的情况下，检测DNN中训练后的可见后门攻击。
• 解决在缺乏训练数据或特定后门模式先验知识的情况下识别后门模式的挑战。
• 推断后门攻击的源类别与目标类别，以提升模型的可信度。
• 与现有不可见后门检测器互补，实现对所有隐蔽后门攻击的全面后训练检测。

提出的方法

• 该方法基于最大可实现误分比例（MAMF）统计量，用于量化在空间受限扰动下，从某一源类别中可被误分类至目标类别的测试样本最高比例。
• 对于每对类别，检测器在所有可能的空间支持（区域）中搜索，这些空间支持具有给定宽度，以找到使干净测试图像误分类率最高的区域。
• 检测器利用可见后门模式的两个关键特性：空间不变性（对小幅度空间偏移具有鲁棒性）和鲁棒性（在轻微变换如模糊处理下仍能保持不变）。
• 通过设定MAMF值的阈值来判断是否存在后门；较高的MAMF值表明可能存在后门。
• 该方法使用一个干净的小规模带标签数据集进行评估，避免了对替代模型训练的需求。
• 在所有类别对上执行模式估计，检测基于统计上显著的MAMF峰值。

实验结果

研究问题

• RQ1 是否可以在不访问训练集的情况下，在DNN训练后检测可见后门模式？
• RQ2 如何利用可见后门模式的空间不变性与鲁棒性来检测攻击？
• RQ3 MAMF统计量能否可靠地区分良性类别混淆与实际由后门引起的误分类？
• RQ4 MAMF的何种阈值可确保高检测性能的同时最小化误报？
• RQ5 该检测器是否可与不可见后门检测器结合，实现全谱系后训练后门检测？

主要发现

• 所提出的基于MAMF的检测器在多个数据集和攻击模式下成功检测到可见后门攻击，即使在无训练数据访问的情况下也有效。
• 对于具有多个源类别的攻击（如攻击A'、B'、C'），检测器能识别出平均MAMF最高的类别对，从而实现对复杂后门场景的检测。
• 该检测器在后训练阶段检测可见后门方面优于现有方法，展现出强大的检测能力。
• 基于模糊处理的在飞行中检测方法无法可靠检测可见后门，因为后门模式在滤波下仍保持鲁棒，导致高误报率与高真正例率。
• 该方法通过在MAMF上设置简单阈值即可实现高检测性能，具有实际部署的可行性。
• 即使DNN测试准确率很高，该检测器依然有效，表明其不受自然类别混淆的干扰。