[论文解读] When Not to Classify: Anomaly Detection of Attacks (ADA) on DNN Classifiers at Test Time

David J. Miller, Yulia Wang+1 more|arXiv (Cornell University)|Dec 18, 2017

Adversarial Robustness in Machine Learning被引用 4

一句话总结

该论文提出了一种无监督异常检测（AD）系统，通过使用与ReLU激活函数支持匹配的混合分布建模深度神经网络（DNN）中间层的联合密度，实现对DNN分类器在测试时逃避攻击的检测。该方法引入了一种基于Kullback-Leibler（KL）散度的新型决策统计量，结合源类别/目标类别概念与权重信息，在多种攻击类型下（包括强大的Carlini-Wagner（CW）攻击）于MNIST和CIFAR-10数据集上实现了最先进（SOTA）的AUC性能。

ABSTRACT

A significant threat to the recent, wide deployment of machine learning-based systems, including deep neural networks (DNNs), is adversarial learning attacks. We analyze possible test-time evasion-attack mechanisms and show that, in some important cases, when the image has been attacked, correctly classifying it has no utility: i) when the image to be attacked is (even arbitrarily) selected from the attacker's cache; ii) when the sole recipient of the classifier's decision is the attacker. Moreover, in some application domains and scenarios it is highly actionable to detect the attack irrespective of correctly classifying in the face of it (with classification still performed if no attack is detected). We hypothesize that, even if human-imperceptible, adversarial perturbations are machine-detectable. We propose a purely unsupervised anomaly detector (AD) that, unlike previous works: i) models the joint density of a deep layer using highly suitable null hypothesis density models (matched in particular to the non- negative support for RELU layers); ii) exploits multiple DNN layers; iii) leverages a "source" and "destination" class concept, source class uncertainty, the class confusion matrix, and DNN weight information in constructing a novel decision statistic grounded in the Kullback-Leibler divergence. Tested on MNIST and CIFAR-10 image databases under three prominent attack strategies, our approach outperforms previous detection methods, achieving strong ROC AUC detection accuracy on two attacks and better accuracy than recently reported for a variety of methods on the strongest (CW) attack. We also evaluate a fully white box attack on our system. Finally, we evaluate other important performance measures, such as classification accuracy, versus detection rate and attack strength.

研究动机与目标

• 为解决DNN分类器在测试时逃避攻击的防御机制空白，特别是在攻击下正确分类在功能上无用的场景。
• 通过利用DNN特征表示中的统计偏差，检测即使对人类不可感知的对抗性扰动作为异常。
• 开发一种无需标注攻击数据或攻击模式先验知识的无监督AD系统。
• 通过利用多个DNN层、类别混淆矩阵和DNN权重信息，提升检测的鲁棒性。
• 提供一种检测机制，使系统在检测到攻击时能够采取安全响应（如拒绝或缓解），即使分类准确率未被保留。

提出的方法

• 使用高斯与广义伽马分布的混合模型，针对ReLU单元的非负支持，建模DNN中间层激活的联合密度。
• 基于样本经验分布与从干净数据推导出的零假设模型之间的Kullback-Leibler（KL）散度，构建一种新型决策统计量。
• 通过引入源类别不确定性与类别混淆矩阵信息，优化异常评分，提升对微弱扰动的敏感性。
• 利用DNN权重信息校准零假设模型，增强异常检测过程的统计鲁棒性。
• 通过聚合多个DNN层的异常评分，采用多层方法以提升检测可靠性。
• 完全以无监督方式运行，训练阶段无需任何标注的对抗样本。

实验结果

研究问题

• RQ1 尽管对抗性扰动对人类不可感知，是否仍可作为DNN内部表示中的统计异常被检测？
• RQ2 使用与ReLU激活支持匹配的分布对DNN特征联合密度进行建模，是否能提升异常检测性能？
• RQ3 基于KL散度的决策统计量，若融合类别混淆与权重信息，是否能超越现有无监督AD方法在逃避攻击检测中的表现？
• RQ4 所提出的AD系统在强且先进的攻击（如Carlini-Wagner（CW）攻击）下效果如何？
• RQ5 当对扰动输入的正确分类无用或不可操作时，系统是否仍能检测到攻击？

主要发现

• 所提出的AD系统在MNIST和CIFAR-10上，对三种主流逃避攻击策略（包括高度鲁棒的Carlini-Wagner（CW）攻击）均实现了出色的ROC AUC性能。
• 在CW攻击下，该方法的检测准确率优于近期报道的最先进方法，展现出更强的鲁棒性。
• 即使在低强度攻击下，系统仍保持高检测率，且对干净样本分类准确率的下降可忽略不计。
• 通过利用多层特征表示与基于统计的决策统计量，该方法优于先前的无监督AD方法。
• 对AD系统实施了完全白盒攻击评估，结果表明检测器在完全掌握防御机制知识的情况下仍保持鲁棒性。
• 该方法在不同DNN架构间具有良好的泛化能力，并可通过适当的零假设模型适配，适用于语音、基因组学与物联网传感器数据等非图像领域。