[论文解读] Natural and Adversarial Error Detection using Invariance to Image Transformations

Yuval Bahat, Michal Irani+1 more|arXiv (Cornell University)|Feb 1, 2019

Adversarial Robustness in Machine Learning参考文献 20被引用 14

一句话总结

该论文提出了一种统一的即插即用框架，通过利用分类器在简单图像变换（如水平翻转、对比度变化）下的不变性，检测自然错误和对抗性错误。通过测量变换后预测与原始预测之间的KL散度来衡量输出不稳定性，该方法实现了最先进性能；其中，采用MLP增强的版本甚至在强已知检测器对抗攻击下也优于先前方法。

ABSTRACT

We propose an approach to distinguish between correct and incorrect image classifications. Our approach can detect misclassifications which either occur $\it{unintentionally}$ ("natural errors"), or due to $\it{intentional~adversarial~attacks}$ ("adversarial errors"), both in a single $\it{unified~framework}$. Our approach is based on the observation that correctly classified images tend to exhibit robust and consistent classifications under certain image transformations (e.g., horizontal flip, small image translation, etc.). In contrast, incorrectly classified images (whether due to adversarial errors or natural errors) tend to exhibit large variations in classification results under such transformations. Our approach does not require any modifications or retraining of the classifier, hence can be applied to any pre-trained classifier. We further use state of the art targeted adversarial attacks to demonstrate that even when the adversary has full knowledge of our method, the adversarial distortion needed for bypassing our detector is $\it{no~longer~imperceptible~to~the~human~eye}$. Our approach obtains state-of-the-art results compared to previous adversarial detection methods, surpassing them by a large margin.

研究动机与目标

• 为解决深度学习模型中误分类检测的严峻挑战，特别是在医疗和自动驾驶等安全关键应用中的问题。
• 在单一框架下统一检测自然错误（非故意误分类）和对抗性错误（故意构造的错误）。
• 开发一种对强对抗性攻击具有鲁棒性的检测方法，包括攻击者完全掌握检测器信息（已知检测器攻击）的情况。
• 创建一种无需微调或修改预训练分类器的检测器，从而实现广泛适用性。

提出的方法

• 该方法通过在输入图像上应用简单图像变换（如水平翻转、小幅度平移、伽马校正）来评估分类器输出的稳定性。
• 对于每张变换后的图像，使用Kullback-Leibler（KL）散度将模型的Softmax输出与原始输出进行比较，以量化输出不稳定性。
• 较高的KL散度得分表示输出不稳定，提示可能存在误分类——无论其成因是自然错误还是对抗性攻击。
• 在基于变换的特征上训练一个额外的多层感知机（MLP），以提升检测性能，超越基础KL得分。
• 检测器可后处理方式应用于任何预训练分类器，无需微调或架构修改。
• 该方法在未知检测器（UD）和已知检测器（KD）攻击场景下均进行了评估，包括强对抗攻击Carlini & Wagner（C&W）攻击。

实验结果

研究问题

• RQ1 分类器在简单图像变换下的输出不变性是否能可靠地区分正确分类与错误分类，而不论错误类型如何？
• RQ2 基于变换不变性的检测方法是否在攻击者完全掌握检测器信息（已知检测器场景）的情况下依然有效？
• RQ3 通过MLP增强基础KL散度得分，是否能提升对自然错误和对抗性错误的检测性能？
• RQ4 在多种数据集和攻击类型下，该方法与最先进检测技术相比，在鲁棒性和AUROC方面表现如何？

主要发现

• 在ImageNet（Top-1）上，采用MLP增强检测器的AUROC达到0.875，Top-5上达到0.884，优于MSR基线（分别为0.842和0.806）。
• 在CIFAR-100上，基于MLP的检测器在AT（对抗训练）配置下AUROC达到0.869，优于SOTA方法DBC（0.858）及其他基线方法。
• 即使在最严峻的已知检测器（KD）攻击场景下（使用C&W攻击），该方法仍迫使攻击者使用可察觉的失真，从而破坏了对抗样本的隐蔽性。
• 仅使用KL散度得分已优于MSR和Dropout基线方法在STL-10和CIFAR-100上的表现，证明了变换不变性作为检测代理的有效性。
• 该方法在多种数据集（ImageNet、CIFAR-100、STL-10）和分类器类型（包括使用对抗损失微调的模型）上均保持强大性能。
• 检测器具有普适性：无需对预训练分类器进行微调或修改，支持即插即用部署。