[论文解读] On the Foundations of Shortcut Learning

Katherine L. Hermann, Hossein Mobahi+2 more|arXiv (Cornell University)|Oct 24, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文通过在受控的生成数据集框架中系统性地操控特征的预测性和可用性，探究了深度神经网络中快捷学习的根本原因。研究证明，非线性架构由于归纳偏置而具有固有的快捷偏差，且深层模型会放大这一效应，并通过神经正切核（Neural Tangent Kernel）分析提供了理论支持，表明快捷学习是非线性学习系统的必然属性。

ABSTRACT

Deep-learning models can extract a rich assortment of features from data. Which features a model uses depends not only on \emph{predictivity} -- how reliably a feature indicates training-set labels -- but also on \emph{availability} -- how easily the feature can be extracted from inputs. The literature on shortcut learning has noted examples in which models privilege one feature over another, for example texture over shape and image backgrounds over foreground objects. Here, we test hypotheses about which input properties are more available to a model, and systematically study how predictivity and availability interact to shape models' feature use. We construct a minimal, explicit generative framework for synthesizing classification datasets with two latent features that vary in predictivity and in factors we hypothesize to relate to availability, and we quantify a model's shortcut bias -- its over-reliance on the shortcut (more available, less predictive) feature at the expense of the core (less available, more predictive) feature. We find that linear models are relatively unbiased, but introducing a single hidden layer with ReLU or Tanh units yields a bias. Our empirical findings are consistent with a theoretical account based on Neural Tangent Kernels. Finally, we study how models used in practice trade off predictivity and availability in naturalistic datasets, discovering availability manipulations which increase models' degree of shortcut bias. Taken together, these findings suggest that the propensity to learn shortcut features is a fundamental characteristic of deep nonlinear architectures warranting systematic study given its role in shaping how models solve tasks.

研究动机与目标

• 理解深度学习模型为何偏好快捷特征（如纹理或背景）而非更具意义的核心特征（如形状）。
• 分离并量化预测性和可用性在塑造模型特征选择中的作用，超越单纯的统计相关性。
• 构建一个最小化、显式的生成框架，以在合成数据集中控制潜在特征的预测性和可用性。
• 研究模型架构（尤其是深度和非线性）对快捷偏差的影响。
• 基于神经正切核理论，为快捷学习提供理论基础，解释其在非线性模型中的不可避免性。

提出的方法

• 作者设计了一种生成模型，用于合成二分类数据集，其中包含两个潜在特征：一个核心特征（高预测性，低可用性），一个快捷特征（低预测性，高可用性）。
• 通过两个因素量化可用性：(1) 数据生成变换的奇异值，(2) 特征映射中的非线性程度。
• 定义快捷偏差度量为模型对特征的依赖程度与最优贝叶斯最优分类器的偏离程度。
• 使用线性模型、浅层 ReLU/Tanh 网络和更深的架构，测试对预测性和可用性的敏感性。
• 理论分析基于神经正切核（NTK）理论，解释为何快捷偏差在非线性模型中出现。
• 实证验证通过在自然数据集上应用改变可用性的数据增强方法（如纹理与形状的操控）进行扩展。

Figure 1: Synthetic data. A: Two datasets differing in the predictivity of $z_{s}$ . B: Schematic of the embedding procedure manipulating availability via the mapping from $\boldsymbol{z}$ to $\boldsymbol{x}$ . Dashed boxes are optional.

实验结果

研究问题

• RQ1 预测性和可用性如何共同决定深度学习模型的特征选择？
• RQ2 为何非线性模型即使在特征预测性相同时，也表现出强于线性模型的快捷偏差？
• RQ3 可用性（由奇异值和非线性程度定义）在多大程度上能解释超出统计预测性的异常特征偏好？
• RQ4 快捷偏差是否是非线性架构的必然结果，正如 NTK 理论所暗示的那样？
• RQ5 在真实图像中通过可用性操控，能否系统性地引导模型行为偏向或远离快捷特征？

主要发现

• 线性模型表现出极小的快捷偏差，表明该偏差并非源于学习目标本身，而是由架构的归纳偏置引起。
• 引入单个隐藏 ReLU 或 Tanh 层即引发显著的快捷偏差，且深层网络进一步放大该效应。
• 基于神经正切核的理论分析表明，快捷偏差是非线性架构在无限宽极限下 NTK 结构的必然结果。
• 在 ImageNet 类似数据集上的实证结果证实，当通过数据增强提高可用性时，模型可被系统性地偏向非核心特征。
• 可用性操控（如增强纹理或背景图案）即使在预测性保持不变的情况下，也显著增加了快捷偏差。
• 研究发现，数据生成过程中奇异值更高且非线性程度更大的特征更可能被模型利用，即使其预测性较低。

Figure 2: Deep nonlinear models can prefer a less-predictive but more-available feature to a more-predictive but less-available one. The color of each cell in the heatmap indicates the mean bias of a model as a function of the availability and predictivity of the shortcut feature, $z_{s}$ . The inse