[论文解读] Overinterpretation reveals image classification model pathologies

Brandon Carter, Siddhartha Jain+2 more|arXiv (Cornell University)|Mar 19, 2020

Adversarial Robustness in Machine Learning参考文献 50被引用 9

一句话总结

本文识别出一种图像分类模型中的病理现象——'过度解读'，即模型基于无意义、非显著的图像区域做出高置信度预测，而这些区域缺乏语义意义。通过提出一种新型的批量梯度SIS方法，作者表明，CIFAR-10和ImageNet上的模型即使在95%的输入像素被遮蔽的情况下仍能实现高准确率，揭示了模型依赖基准数据集中虚假的统计模式，而非学习到稳健且具有语义意义的特征。

ABSTRACT

Image classifiers are typically scored on their test set accuracy, but high accuracy can mask a subtle type of model failure. We find that high scoring convolutional neural networks (CNNs) on popular benchmarks exhibit troubling pathologies that allow them to display high accuracy even in the absence of semantically salient features. When a model provides a high-confidence decision without salient supporting input features, we say the classifier has overinterpreted its input, finding too much class-evidence in patterns that appear nonsensical to humans. Here, we demonstrate that neural networks trained on CIFAR-10 and ImageNet suffer from overinterpretation, and we find models on CIFAR-10 make confident predictions even when 95% of input images are masked and humans cannot discern salient features in the remaining pixel-subsets. We introduce Batched Gradient SIS, a new method for discovering sufficient input subsets for complex datasets, and use this method to show the sufficiency of border pixels in ImageNet for training and testing. Although these patterns portend potential model fragility in real-world deployment, they are in fact valid statistical patterns of the benchmark that alone suffice to attain high test accuracy. Unlike adversarial examples, overinterpretation relies upon unmodified image pixels. We find ensembling and input dropout can each help mitigate overinterpretation.

研究动机与目标

• 识别并诊断深度学习模型中一种此前未被识别的故障模式：过度解读，即模型基于非显著、无语义意义的图像区域做出自信预测。
• 证明在CIFAR-10和ImageNet等标准基准上，高测试准确率可能掩盖模型因依赖虚假统计信号而产生的内在脆弱性。
• 开发并应用一种可扩展的方法——批量梯度SIS，以识别能够实现高置信度预测的最小输入子集（SIS）。
• 评估集成模型和输入丢弃等缓解策略在减少过度解读和提升特征可解释性方面的作用。
• 强调此类病理现象对社会及数据集构建的影响，呼吁采用更稳健和多样化的训练数据。

提出的方法

• 提出一种新方法——批量梯度SIS，以高效识别在高维数据（如ImageNet）上图像分类决策的最小充分输入子集（SIS）。
• 使用基于梯度的遮蔽方法，迭代识别出仍能使模型预测置信度超过阈值（例如0.9）的最小像素集合。
• 将该方法应用于CIFAR-10和ImageNet上多种模型（包括ResNets、DenseNets和Vision Transformers, ViT）的SIS大小与组成分析。
• 系统性地遮蔽90%至95%的输入像素，并重新评估模型准确率，以检验剩余特征的充分性。
• 通过人工评估确认，SIS区域通常缺乏语义内容，即使模型做出高置信度预测。
• 在推理过程中应用集成模型和输入丢弃，以评估其对减少过度解读和提升SIS语义一致性的效果。

实验结果

研究问题

• RQ1 SOTA图像分类器在CIFAR-10和ImageNet上在多大程度上依赖非显著、无语义意义的图像区域来做出高置信度预测？
• RQ2 当高达95%的输入像素被遮蔽时，即使剩余像素不包含可辨识的语义特征，模型是否仍能保持高测试准确率？
• RQ3 允许模型过度解读的虚假信号的统计本质是什么？这些信号在训练和测试分布之间如何泛化？
• RQ4 通过鼓励模型依赖更具语义意义的特征，集成模型和输入丢弃是否能有效减少过度解读？
• RQ5 Vision Transformers与CNN在ImageNet上对过度解读的敏感性有何不同？

主要发现

• 在CIFAR-10上，即使95%的输入像素被遮蔽，模型仍能保持高测试准确率（最高达95.5%），且预测基于极小的、无意义的像素子集。
• 在ImageNet上，仅保留原始图像10%的像素，模型仍能实现超过80%的准确率，表明仅靠边缘或纹理类模式即可完成分类。
• ImageNet各类别的平均SIS大小范围为1.1%（如bearskin）至40.0%（如English foxhound），其中许多类别仅依赖少于5%的像素即可实现高置信度预测。
• Vision Transformers (ViT) 同样表现出过度解读现象，其SIS区域包含非语义模式，但仍能产生≥90%置信度的预测。
• 集成模型和输入丢弃通过提升SIS的语义内容，减少了过度解读，但并未完全消除对虚假统计信号的依赖。
• 本研究揭示，过度解读是CIFAR-10和ImageNet等基准数据集的统计特性，而非模型特异性缺陷，其根源在于数据分布中的退化信号。