[论文解读] Natural Adversarial Examples

Dan Hendrycks, Kevin Zhao+3 more|arXiv (Cornell University)|Jul 16, 2019

Adversarial Robustness in Machine Learning参考文献 77被引用 193

一句话总结

本文提出了两个真实世界的、经对抗性筛选的数据集 ImageNet-A 和 ImageNet-O，显示 ImageNet 模型的鲁棒性存在巨大差距，并且改进需要架构层面的变化而非简单的数据增强。该工作展示了这些难例在模型之间的迁移，包括 transformers，凸显了共同弱点。

ABSTRACT

We introduce two challenging datasets that reliably cause machine learning model performance to substantially degrade. The datasets are collected with a simple adversarial filtration technique to create datasets with limited spurious cues. Our datasets' real-world, unmodified examples transfer to various unseen models reliably, demonstrating that computer vision models have shared weaknesses. The first dataset is called ImageNet-A and is like the ImageNet test set, but it is far more challenging for existing models. We also curate an adversarial out-of-distribution detection dataset called ImageNet-O, which is the first out-of-distribution detection dataset created for ImageNet models. On ImageNet-A a DenseNet-121 obtains around 2% accuracy, an accuracy drop of approximately 90%, and its out-of-distribution detection performance on ImageNet-O is near random chance levels. We find that existing data augmentation techniques hardly boost performance, and using other public training datasets provides improvements that are limited. However, we find that improvements to computer vision architectures provide a promising path towards robust models.

研究动机与目标

• 在分布转移下用自然、真实世界的对抗性样本来激励鲁棒评估。
• 创建具有挑战性的测试集（ImageNet-A 和 ImageNet-O），减少对虚假线索的依赖。
• 评估数据增强、额外数据或架构变更是否能提高对这些转移的鲁棒性。
• 表明改进可跨模型族迁移，包括 transformers，并指出有前景的方向。

提出的方法

• 通过对能被 ResNet-50 正确分类的图像进行移除、并选择低置信度的错误分类，进行对抗性筛选以构建 ImageNet-A。
• 通过对 ImageNet-22K 进行筛选，挑选出 ResNet-50 高置信度错误分类的、被视为同分布的图像来构建 ImageNet-O。
• 人工筛选，确保两数据集具有单标签且高质量的图像。
• 使用 ImageNet-A 的 top-1 准确率评估鲁棒性，并在 ImageNet-O 上通过 AUPR 进行 OOD 检测。
• 与标准数据增强、预训练和架构变更的基线比较。
• 跨架构评估，包括 ResNet 家族、ResNeXt、SE 块、Res2Net，以及视觉 transformers（DeiT）。

Figure 1 : Natural adversarial examples from ImageNet-A and ImageNet-O . The black text is the actual class, and the red text is a ResNet-50 prediction and its confidence. ImageNet-A contains images that classifiers should be able to classify, while ImageNet-O contains anomalies of unforeseen classe

实验结果

研究问题

• RQ1 自然出现的、经过对抗性筛选的图像如何影响跨架构的 ImageNet 分类器？
• RQ2 标准数据增强或额外标注数据是否能显著改善 ImageNet-A 和 ImageNet-O 的性能？
• RQ3 架构改动（如更宽的网络、Res2Net、自注意力机制）能否显著提升对这些数据集的鲁棒性和 OOD 检测？
• RQ4 对未见模型是否也能迁移到对抗性筛选的样本，包括非卷积架构如 vision transformers？
• RQ5 ImageNet-A 实例揭示了当前 CNN 的哪些失效模式及它们对非语义线索的依赖？

主要发现

• ImageNet-A 使 DenseNet-121 的准确率约为 2%，较典型的 ImageNet-1K 性能下降约 90%。
• ImageNet-O 的目的是进行越分布检测，基线检测器的 OOD 异常分数通常处于随机水平。
• 单独数据增强仅带来温和提升（例如，不同方法带来个位数的提升；在某些情境下最好报道约 7-8%），并且用多数量级的额外数据进行训练收益递减。
• 在 ImageNet-21K 上进行预训练再在 ImageNet-1K 上微调将 ImageNet-A 的准确率提高到 11.41%，ImageNet-O 的 AUPR 提高到 21.86%（对比基线约 2.17% 的 ImageNet-A）。
• 架构变更带来的鲁棒性提升大于数据增强或更多数据（例如，从 ResNet-50 到 ResNet-152：ImageNet-A 从 2.17% 提升到 6.1%；ResNeXt-50(32×4d) 到更高容量变体；Res2Net 和自注意力变体在 ImageNet-A 的准确率和 ImageNet-O 的 AUPR 上均有显著提升；Vision Transformers（DeiT）也显示对这些任务的迁移）。
• 自注意力和多尺度/骨干网络的创新（如 Res2Net v1b、SE 块）在 ImageNet-A 和 ImageNet-O 上带来显著提升，且在更大模型上收益更大（如 DeiT-base 在 ImageNet-A 达到 28.2%，在 ImageNet 的 AUPR 为 24.8%）。