[论文解读] On the Strong Correlation Between Model Invariance and Generalization

Weijian Deng, Stephen Jay Gould+1 more|arXiv (Cornell University)|Jul 14, 2022

Machine Learning and Data Classification被引用 5

一句话总结

本文提出了有效不变性（Effective Invariance, EI），一种新颖的无标签度量方法，通过测量数据变换下预测的一致性和置信度来量化模型不变性。该方法在多种模型和数据集（包括分布内和分布外设置）上均显示出 EI 与泛化性能之间的强线性相关性，从而实现无监督的模型选择和分布外准确率预测。

ABSTRACT

Generalization and invariance are two essential properties of any machine learning model. Generalization captures a model's ability to classify unseen data while invariance measures consistency of model predictions on transformations of the data. Existing research suggests a positive relationship: a model generalizing well should be invariant to certain visual factors. Building on this qualitative implication we make two contributions. First, we introduce effective invariance (EI), a simple and reasonable measure of model invariance which does not rely on image labels. Given predictions on a test image and its transformed version, EI measures how well the predictions agree and with what level of confidence. Second, using invariance scores computed by EI, we perform large-scale quantitative correlation studies between generalization and invariance, focusing on rotation and grayscale transformations. From a model-centric view, we observe generalization and invariance of different models exhibit a strong linear relationship, on both in-distribution and out-of-distribution datasets. From a dataset-centric view, we find a certain model's accuracy and invariance linearly correlated on different test sets. Apart from these major findings, other minor but interesting insights are also discussed.

研究动机与目标

• 为解决模型泛化与不变性之间关系缺乏系统性、定量分析的问题。
• 开发一种稳健的无标签不变性度量方法，同时考虑预测一致性和置信度。
• 开展大规模实证研究，揭示通过 EI 衡量的不变性与多种模型和数据集之间泛化性能的关系。
• 在无需测试标签的情况下，利用 EI 实现无监督的模型选择和分布外性能预测。

提出的方法

• 提出有效不变性（EI）作为新型不变性度量，通过计算模型在原始图像及其变换版本上的预测之间的一致性与置信度来衡量。
• 采用置信加权的一致性评分：高一致性且高置信度时 EI 值高；不一致或低置信度则 EI 值低。
• 将 EI 应用于 150 个 ImageNet 模型在旋转和灰度变换下的不变性评估，涵盖 8 个测试集，包括分布内和分布外基准。
• 通过模型中心和数据集中心的相关性分析，研究 EI 与测试准确率之间的关系。
• 将 EI 与现有度量（如准确率下降和 Jensen-Shannon 散度）进行比较，结果表明其在鲁棒性和标签独立性方面表现更优。
• 在 3090Ti GPU 上使用 PyTorch 1.11.0 和 timm 1.5 实现标准化评估流程，采用公开可用的模型和数据集。

实验结果

研究问题

• RQ1 在多种模型和数据集上，模型不变性与泛化性能之间是否存在强定量相关性？
• RQ2 有效不变性（EI）能否作为模型泛化性能的可靠、无标签代理指标？
• RQ3 在标签不可用的分布外数据集上，EI 衡量的不变性与泛化性能之间有何相关性？
• RQ4 训练策略（如数据增强 vs. 更多训练数据）是否对不变性和泛化性能产生可测量的影响？
• RQ5 在无真实标签访问的情况下，EI 是否可用于预测模型在分布外数据集上的准确率？

主要发现

• 在 150 个模型的分布内和分布外数据集上，模型泛化性能（准确率）与有效不变性（EI）之间存在强线性相关性。
• 在 ImageNet-Rendition 和 ImageNet-Corruption 等分布外数据集上，模型准确率与 EI 分数表现出显著的线性关系，从而可在无标签条件下实现分布外准确率预测。
• EI 在可靠性与标签独立性方面优于现有不变性度量（如准确率下降和 Jensen-Shannon 散度），尤其在分布外条件下表现更优。
• 在更大数据集上预训练的模型表现出更高的 EI 和更好的泛化性能，表明数据规模比数据增强更有效提升不变性。
• 使用鲁棒数据增强（如 CutMix、MixUp）可同时提升不变性和泛化性能，但相比在更多数据上预训练，其增益更弱。
• EI 与准确率之间的相关性在多种架构（包括 ResNets、视觉 Transformer（如 BEiT）以及 EfficientNet 变体）中均成立，证实其广泛适用性。