[论文解读] Rethinking Natural Adversarial Examples for Classification Models

Xiao Li, Jianmin Li+4 more|arXiv (Cornell University)|Feb 23, 2021

Adversarial Robustness in Machine Learning参考文献 46被引用 7

一句话总结

本文研究了为何 ImageNet-A 中的自然对抗样本对分类模型难以识别，发现大尺寸或杂乱的背景是关键因素。通过应用目标检测定位物体，并构建了背景去除的 ImageNet-A-Plus 数据集，结果表明具备定位能力的模型显著提升了准确率，而即使最先进的模型在人类表现面前仍显不足，凸显了提升对内部物体变化鲁棒性的必要性。

ABSTRACT

Recently, it was found that many real-world examples without intentional modifications can fool machine learning models, and such examples are called "natural adversarial examples". ImageNet-A is a famous dataset of natural adversarial examples. By analyzing this dataset, we hypothesized that large, cluttered and/or unusual background is an important reason why the images in this dataset are difficult to be classified. We validated the hypothesis by reducing the background influence in ImageNet-A examples with object detection techniques. Experiments showed that the object detection models with various classification models as backbones obtained much higher accuracy than their corresponding classification models. A detection model based on the classification model EfficientNet-B7 achieved a top-1 accuracy of 53.95%, surpassing previous state-of-the-art classification models trained on ImageNet, suggesting that accurate localization information can significantly boost the performance of classification models on ImageNet-A. We then manually cropped the objects in images from ImageNet-A and created a new dataset, named ImageNet-A-Plus. A human test on the new dataset showed that the deep learning-based classifiers still performed quite poorly compared with humans. Therefore, the new dataset can be used to study the robustness of classification models to the internal variance of objects without considering the background disturbance.

研究动机与目标

• 探究标准分类模型在 ImageNet-A 自然对抗样本上失败的原因。
• 识别背景杂乱和异常背景作为模型误分类的关键因素。
• 开发一个新的评估基准——ImageNet-A-Plus，通过去除背景干扰，隔离内部物体变化。
• 在无上下文干扰的条件下，评估深度学习模型对内部物体变化的鲁棒性。
• 证明具备定位能力的模型在 ImageNet-A 上显著优于标准分类器，即使未经微调。

提出的方法

• 应用目标检测模型（以 ImageNet 分类模型作为主干网络）对 ImageNet-A 图像中的物体进行定位，降低背景影响。
• 使用标准训练协议在 ImageNet 上训练检测模型，复用分类任务中使用的相同主干网络。
• 通过人工裁剪 ImageNet-A 图像中的物体，构建了专注于内部物体变化的 ImageNet-A-Plus 新数据集。
• 在 ImageNet-A-Plus 的 600 张图像上开展了人类评估实验，由两名经验丰富的标注员参与，以评估人类水平的性能。
• 在多个模型架构（包括 EfficientNet-B7 和 SE-ResNeXt）上对比了模型在 ImageNet-A 和 ImageNet-A-Plus 上的表现。
• 根据人类识别表现，将 ImageNet-A-Plus 划分为三个难度子集（A、B、C），以分析模型在不同难度层级下的行为。

实验结果

研究问题

• RQ1 标准分类模型在 ImageNet-A 自然对抗样本上表现不佳的原因是什么？
• RQ2 背景杂乱或异常背景在多大程度上导致了 ImageNet-A 中的模型误分类？
• RQ3 使用相同主干网络的目标检测模型是否能在 ImageNet-A 上实现显著高于标准分类器的准确率？
• RQ4 最先进的分类模型在去除背景干扰的新基准（ImageNet-A-Plus）上表现如何？
• RQ5 在评估对内部物体变化的鲁棒性时，人类与模型之间是否存在持久的性能差距？

主要发现

• 使用与分类模型相同主干网络的目标检测模型在 ImageNet-A 上达到了 53.95% 的 top-1 准确率，显著优于标准分类器的 5% 准确率。
• 基于 EfficientNet-B7 的检测模型在 ImageNet-A 上实现了最先进性能，超越了此前在 ImageNet 上训练的 SOTA 方法。
• 通过人工从 ImageNet-A 中裁剪物体构建的 ImageNet-A-Plus，成功地将内部物体变化与背景干扰分离。
• 人类标注员在 ImageNet-A-Plus 上的 top-1 准确率分别达到 79.5% 和 76.7%，远超深度学习模型的表现。
• 即使是最先进的模型（EfficientNet-B7 搭载 AdvProp）在 ImageNet-A-Plus 的挑战性样本上仍会失败，表明其在应对内部物体变化时鲁棒性存在巨大差距。
• 模型在 ImageNet-A-Plus 上的表现趋势与人类在不同难度子集上的表现相似，表明模型在最模糊的案例上最为吃力。