[论文解读] The shape and simplicity biases of adversarially robust ImageNet-trained CNNs

Peijie Chen, Chirag Agarwal+1 more|arXiv (Cornell University)|Jun 16, 2020

Adversarial Robustness in Machine Learning参考文献 21被引用 7

一句话总结

本文研究了对抗性鲁棒性 ImageNet 训练的 CNN 中的形状偏好与简单性偏差，揭示对抗性训练诱导了三种关键的简化机制：更平滑的滤波器以阻断高频噪声，更倾向于检测低层次特征（如纹理和颜色），以及每个神经元的输入多样性降低。这些变化解释了 R 型网络在分布外（OOD）和对抗性样本上的鲁棒性与泛化能力的提升。

ABSTRACT

Increasingly more similarities between human vision and convolutional neural networks (CNNs) have been revealed in the past few years. Yet, vanilla CNNs often fall short in generalizing to adversarial or out-of-distribution (OOD) examples which humans demonstrate superior performance. Adversarial training is a leading learning algorithm for improving the robustness of CNNs on adversarial and OOD data; however, little is known about the properties, specifically the shape bias and internal features learned inside adversarially-robust CNNs. In this paper, we perform a thorough, systematic study to understand the shape bias and some internal mechanisms that enable the generalizability of AlexNet, GoogLeNet, and ResNet-50 models trained via adversarial training. We find that while standard ImageNet classifiers have a strong texture bias, their R counterparts rely heavily on shapes. Remarkably, adversarial training induces three simplicity biases into hidden neurons in the process of "robustifying" CNNs. That is, each convolutional neuron in R networks often changes to detecting (1) pixel-wise smoother patterns, i.e., a mechanism that blocks high-frequency noise from passing through the network; (2) more lower-level features i.e. textures and colors (instead of objects);and (3) fewer types of inputs. Our findings reveal the interesting mechanisms that made networks more adversarially robust and also explain some recent findings e.g., why R networks benefit from a much larger capacity (Xie et al. 2020) and can act as a strong image prior in image synthesis (Santurkar et al. 2019).

研究动机与目标

• 理解对抗性鲁棒性（R）CNN 在 ImageNet 上是否表现出相较于标准（S）模型更强的形状偏好。
• 研究 R 网络中更强的形状偏好是否导致其在分布外（OOD）和受损图像上的泛化能力提升。
• 揭示内部神经机制（特别是隐藏层表征）如何实现对抗性鲁棒性。
• 解释为何 R 网络在标准 ImageNet 测试集上表现较差，却能在分布外数据上实现更好的泛化。
• 通过分析滤波器平滑度、特征层次结构和神经元输入多样性，阐明简单性在鲁棒性中的作用。

提出的方法

• 应用线索冲突（cue-conflict）和 NetDissect 方法，分析 AlexNet、GoogLeNet 和 ResNet-50 隐藏神经元中对形状与纹理的偏好。
• 使用逐层卷积核总变差（TV）度量滤波器平滑度，并评估其抑制噪声的能力。
• 通过 NetDissect 检测到的独特概念数量来衡量神经元输入多样性，并结合置零实验评估特征重要性。
• 在多种架构上对比标准（S）与鲁棒（R）模型，采用标准化图像变换：打乱、风格化、灰度化和轮廓化。
• 通过在移除形状或纹理的图像变体上测试分类准确率，量化形状与纹理偏差。
• 通过测量在零值化特定特征检测器后网络准确率的下降程度，分析通道级别的贡献。

实验结果

研究问题

• RQ1 在 ImageNet 上，对抗性鲁棒网络是否相比标准 ImageNet 分类器更偏好形状而非纹理？
• RQ2 R 网络中更强的形状偏好是否导致其在 OOD 和受损图像（如风格化或轮廓化图像）上表现更优？
• RQ3 对抗性训练如何改变内部表征以增强鲁棒性，特别是在滤波器平滑度、特征层次结构和神经元输入多样性方面？
• RQ4 为何 R 网络在标准测试集上准确率较低，却能在分布外数据上实现更好的泛化？
• RQ5 R 网络在多大程度上学习到更简单、更受约束的表征（如更平滑的滤波器和更少的输入类型）？

主要发现

• 对抗性鲁棒（R）网络约 67% 的时间偏好形状而非纹理，显著高于标准（S）网络中观察到的 25% 偏好度。
• R 网络在无纹理、失真的图像（包括 COCO 图像的风格化和轮廓化版本）上优于 S 网络，证实其在 OOD 泛化上的优越性。
• 对抗性训练使 R 网络的滤波器更平滑，降低了卷积核的总变差（TV），从而阻止高频噪声在网络中传播。
• R 网络更倾向于检测低层次特征（如纹理和颜色），且专门检测简单纹理模式（如“条纹”和“条带”）的通道数量显著增加。
• R 网络中隐藏神经元的输入多样性降低，平均检测到的独特概念更少，表明其内部表征被简化。
• 通过更平滑的滤波器、对低层次特征的检测以及更低的输入多样性所实现的内部表征简化，解释了 R 网络在对抗样本和 OOD 样例上鲁棒性与泛化能力的提升。