[论文解读] Robustness properties of Facebook's ResNeXt WSL models

A. Emin Orhan|arXiv (Cornell University)|Jul 17, 2019

Web Data Mining and Analysis参考文献 16被引用 23

一句话总结

本文评估了在10亿张弱监督的Instagram图片上预训练、并在ImageNet上微调的Facebook ResNeXt模型的鲁棒性。尽管未进行显式的对抗训练，这些模型在ImageNet-C、ImageNet-P和ImageNet-A基准上均取得了最先进性能，展现出对噪声和自然对抗样本前所未有的鲁棒性，但对迭代式对抗攻击仍显脆弱，并且持续存在强烈的纹理偏好。

ABSTRACT

We investigate the robustness properties of ResNeXt class image recognition models trained with billion scale weakly supervised data (ResNeXt WSL models). These models, recently made public by Facebook AI, were trained with ~1B images from Instagram and fine-tuned on ImageNet. We show that these models display an unprecedented degree of robustness against common image corruptions and perturbations, as measured by the ImageNet-C and ImageNet-P benchmarks. They also achieve substantially improved accuracies on the recently introduced "natural adversarial examples" benchmark (ImageNet-A). The largest of the released models, in particular, achieves state-of-the-art results on ImageNet-C, ImageNet-P, and ImageNet-A by a large margin. The gains on ImageNet-C, ImageNet-P, and ImageNet-A far outpace the gains on ImageNet validation accuracy, suggesting the former as more useful benchmarks to measure further progress in image recognition. Remarkably, the ResNeXt WSL models even achieve a limited degree of adversarial robustness against state-of-the-art white-box attacks (10-step PGD attacks). However, in contrast to adversarially trained models, the robustness of the ResNeXt WSL models rapidly declines with the number of PGD steps, suggesting that these models do not achieve genuine adversarial robustness. Visualization of the learned features also confirms this conclusion. Finally, we show that although the ResNeXt WSL models are more shape-biased than comparable ImageNet-trained models in a shape-texture cue conflict experiment, they still remain much more texture-biased than humans, suggesting that they share some of the underlying characteristics of ImageNet-trained models that make this benchmark challenging.

研究动机与目标

• 探究在10亿张弱监督图像上进行训练是否能显著提升ResNeXt模型对常见图像噪声和扰动的鲁棒性。
• 评估模型在ImageNet-A基准上的表现，该基准衡量模型在自然对抗样本上的分布外泛化能力。
• 评估模型对白盒对抗攻击（特别是迭代PGD攻击）的鲁棒性。
• 分析大规模弱监督训练是否能降低标准ImageNet训练模型中观察到的纹理偏好。
• 通过形状-纹理线索冲突实验，比较WSL模型与ImageNet训练模型及人类感知在形状与纹理偏好上的差异。

提出的方法

• 评估了五个ResNeXt模型：一个在ImageNet上训练的基线模型，以及四个在约10亿张带有噪声标签的Instagram图片上预训练、并在ImageNet上微调的WSL模型。
• 通过平均噪声错误率（mCE）在ImageNet-C（15种噪声类型，5个严重等级）上测量鲁棒性，相对mCE以AlexNet为基准进行计算。
• 使用top-1准确率和置信度校准指标，在ImageNet-P（自然扰动的基准）上评估性能。
• 使用10步PGD攻击在ImageNet验证图像上测试对抗鲁棒性，测量干净样本和对抗样本的准确率。
• 通过形状-纹理线索冲突实验计算形状偏好得分，比较WSL模型与ImageNet训练模型及人类的表现。
• 可视化特征图和注意力模式，分析归纳偏置，特别是对形状与纹理的敏感性。

实验结果

研究问题

• RQ1 与标准ImageNet训练相比，在10亿张弱监督图像上进行训练是否能显著提升模型对常见图像噪声的鲁棒性？
• RQ2 WSL模型在ImageNet-A上的泛化能力如何？ImageNet-A中的样本是专门挑选的、对标准模型具有挑战性的自然对抗样本。
• RQ3 大规模弱监督训练能否赋予模型一定程度的对抗鲁棒性，以抵御最先进的白盒攻击？
• RQ4 WSL模型是否能降低标准ImageNet训练模型中观察到的强烈纹理偏好，特别是在形状-纹理冲突的情境下？
• RQ5 在形状与纹理依赖方面，WSL模型的归纳偏置与人类感知相比如何？

主要发现

• 最大规模的WSL模型（resnext101_32x48d_wsl）在ImageNet-A上达到61.0%的top-1准确率，显著优于在ImageNet上训练的基线模型（10.2%）。
• 同一模型在ImageNet-C上实现了最先进性能，相对mCE为0.38，显著优于先前模型。
• 在ImageNet-P上，最大规模的WSL模型达到80.2%的top-1准确率，RMS-CE为17.6，AURRA为82.4，表明其具有良好的校准性。
• 尽管在鲁棒性方面有所提升，WSL模型在对抗攻击方面仍表现有限，10步PGD攻击下干净准确率从85.4%下降至22.1%。
• 最大规模的WSL模型表现出42.8%的形状偏好得分，高于ImageNet训练模型的25.9%，但仍远低于人类表现（95.9%）。
• 特征可视化结果证实，尽管在噪声和自然对抗样本方面鲁棒性有所提升，这些模型仍比人类更偏向纹理。