[论文解读] Shape or Texture: Understanding Discriminative Features in CNNs

Amirul Islam, Matthew Kowal+5 more|arXiv (Cornell University)|Jan 27, 2021

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 15

一句话总结

本文研究了卷积神经网络（CNNs）在其潜在表征中如何编码形状与纹理信息，通过互信息估计和读出模块分离出与形状或纹理相关的神经元。研究发现，尽管CNN在训练初期就学习了大部分形状信息，并在各层中编码该信息，但只有最后几层能正确地为形状像素分配语义标签。此外，形状偏向的模型比纹理偏向的模型更依赖于形状特异性神经元。

ABSTRACT

Contrasting the previous evidence that neurons in the later layers of a Convolutional Neural Network (CNN) respond to complex object shapes, recent studies have shown that CNNs actually exhibit a `texture bias': given an image with both texture and shape cues (e.g., a stylized image), a CNN is biased towards predicting the category corresponding to the texture. However, these previous studies conduct experiments on the final classification output of the network, and fail to robustly evaluate the bias contained (i) in the latent representations, and (ii) on a per-pixel level. In this paper, we design a series of experiments that overcome these issues. We do this with the goal of better understanding what type of shape information contained in the network is discriminative, where shape information is encoded, as well as when the network learns about object shape during training. We show that a network learns the majority of overall shape information at the first few epochs of training and that this information is largely encoded in the last few layers of a CNN. Finally, we show that the encoding of shape does not imply the encoding of localized per-pixel semantic information. The experimental results and findings provide a more accurate understanding of the behaviour of current CNNs, thus helping to inform future design choices.

研究动机与目标

• 理解CNN是否以及如何在其潜在表征中编码形状信息，而不仅限于分类输出。
• 研究形状信息在训练过程中何时以及在何处被编码，尤其关注其与纹理偏见的关系。
• 确定CNN中的形状编码是否支持像素级语义理解，而不仅限于全局形状识别。
• 评估纹理偏向与形状偏向模型在其潜在特征中对形状或纹理特异性神经元的相对依赖程度。

提出的方法

• 使用风格化PASCAL VOC图像与CNN特征图之间的互信息估计，量化形状和纹理表征维度。
• 在潜在特征上训练读出模块（单卷积层头）以执行二值分割和语义分割，使用真实像素级标签作为监督信号。
• 通过在冻结的ResNet-50特征中选择与形状或纹理最相关神经元的前X%来强制读出模块仅依赖形状或纹理特异性神经元。
• 比较在ImageNet（纹理偏向）和Stylized ImageNet（形状偏向）上预训练的模型的读出模块性能，以评估其对形状与纹理神经元的依赖程度。
• 应用维度估计方法，识别特征图中编码形状与纹理的有效维度数量。
• 使用二值分割和语义分割的mIoU分数作为评估指标，比较不同神经元选择策略下的性能表现。

实验结果

研究问题

• RQ1 CNN的潜在表征中编码了多少形状信息？其在神经网络的哪一层深度最为显著？
• RQ2 CNN中形状信息的编码是否支持像素级语义分割，还是仅限于全局形状识别？
• RQ3 形状偏向模型（如在Stylized ImageNet上训练的模型）是否比纹理偏向模型（如在ImageNet上训练的模型）更依赖于形状特异性神经元？
• RQ4 CNN在训练的哪个阶段学习了大部分形状信息？
• RQ5 当仅保留形状或纹理特异性神经元时，移除非目标神经元对分割性能有何影响？

主要发现

• CNN在训练的前几个epoch内就学习了大部分整体形状信息，表明形状线索被快速获取。
• 形状信息在多个层中被编码，但只有网络的最后几层能正确地为对象像素分配类别语义标签。
• 在ImageNet上预训练的模型在其深层特征中已包含足够的形状和类别信息，可实现高mIoU的二值和语义分割。
• 移除纹理信息会严重损害网络为形状像素正确分配语义标签的能力，凸显纹理在形状感知中的干扰作用。
• 对于纹理偏向模型（ImageNet预训练），当仅保留纹理特异性神经元时，读出模块的性能显著提升，证实其对纹理的依赖性。
• 对于形状偏向模型（Stylized ImageNet预训练），当仅保留形状特异性神经元时，性能显著提升，证实其对形状特征的依赖性。