[论文解读] Predicting Deep Neural Network Generalization with Perturbation Response Curves

Yair Schiff, Brian Quanz+2 more|arXiv (Cornell University)|Jun 9, 2021

Neural Networks and Applications被引用 4

一句话总结

本文提出了一种新颖的框架，通过扰动响应（PR）曲线预测深度神经网络的泛化性能，该曲线追踪在训练数据扰动程度逐渐增加时准确率的变化。该框架提出了两种新度量——Gi-score 和 Pal-score，灵感源自收入不平等度量，其在 PGDL 竞赛中多个任务的泛化差距预测上达到了最先进性能，同时还能对模型在数据变换下的不变性进行稳健评估。

ABSTRACT

The field of Deep Learning is rich with empirical evidence of human-like performance on a variety of prediction tasks. However, despite these successes, the recent Predicting Generalization in Deep Learning (PGDL) NeurIPS 2020 competition suggests that there is a need for more robust and efficient measures of network generalization. In this work, we propose a new framework for evaluating the generalization capabilities of trained networks. We use perturbation response (PR) curves that capture the accuracy change of a given network as a function of varying levels of training sample perturbation. From these PR curves, we derive novel statistics that capture generalization capability. Specifically, we introduce two new measures for accurately predicting generalization gaps: the Gi-score and Pal-score, which are inspired by the Gini coefficient and Palma ratio (measures of income inequality), that accurately predict generalization gaps. Using our framework applied to intra and inter-class sample mixup, we attain better predictive scores than the current state-of-the-art measures on a majority of tasks in the PGDL competition. In addition, we show that our framework and the proposed statistics can be used to capture to what extent a trained network is invariant to a given parametric input transformation, such as rotation or translation. Therefore, these generalization gap prediction statistics also provide a useful means for selecting optimal network architectures and hyperparameters that are invariant to a certain perturbation.

研究动机与目标

• 解决训练后缺乏高效、事后测量方法以预测深度神经网络泛化差距的问题。
• 开发一种框架，量化训练模型在不同数据扰动水平下的泛化鲁棒性。
• 实现对模型在特定输入变换（如旋转、平移和色彩抖动）下不变性的评估。
• 提供可解释性强、稳健的统计量，其在泛化差距预测方面优于现有复杂度度量。
• 通过量化对目标扰动的不变性，支持网络架构与超参数的选择。

提出的方法

• 通过在不同扰动类型（如 Mixup、旋转、平移）下对训练数据施加多种幅度的扰动，并评估模型在这些扰动数据上的准确率，构建扰动响应（PR）曲线。
• 将 Gi-score 定义为 PR 曲线与理想曲线之间面积的度量，反映模型对扰动的敏感程度。
• 将 Pal-score 定义为表现最佳的扰动水平准确率与平均准确率的比值，捕捉模型的峰值鲁棒性。
• 使用负 Pal-score 加 Gi-score 作为复合度量以对模型进行排序，数值越高表示泛化性能越好。
• 将该框架应用于类内与类间 Mixup，以及旋转、平移等几何变换，以评估不变性。
• 在 CIFAR-10、SVHN 等基准数据集上训练模型，采用不同数据增强方式与超参数设置，以评估其预测能力。

实验结果

研究问题

• RQ1 从多个扰动水平导出的 PR 曲线是否能比单点评估提供更稳健、更具信息量的模型泛化度量？
• RQ2 所提出的 Gi-score 与 Pal-score 在预测泛化差距方面，与现有最先进复杂度度量相比表现如何？
• RQ3 该框架在多大程度上能够量化模型对特定参数化数据变换（如旋转或平移）的不变性？
• RQ4 该框架能否指导选择能增强对期望扰动不变性的最优架构与超参数？
• RQ5 复合度量 Gi + (-Pal) 是否在多种数据集与模型架构上始终优于单一度量与基线方法？

主要发现

• Gi-score 与 Pal-score 的组合在 PGDL 竞赛的大多数任务中，其泛化差距预测得分优于当前最先进方法。
• 该框架优于基线方法，包括 PGDL 冠军提交方案，因其捕捉了扰动响应的完整谱系，而非依赖单一插值幅度。
• 在 CINIC-10 数据集上，Gi-intraℓ0 与 Pal-intraℓ0 组合的复合得分为 22.60，为所有度量中最高。
• 该框架成功捕捉了模型对几何变换的不变性：例如，在 CIFAR-10 的旋转任务中，Gi-intraℓ0 与 Pal-intraℓ0 度量与泛化差距表现出强相关性（可视化中皮尔逊相关系数 R > 0.8）。
• CMI 度量分析证实，所提出的度量提供了独立且具信息量的预测能力，超越了仅由超参数解释的部分。
• 该方法在多种架构（VGG、NiN、ResNet）与数据类型（CIFAR-10、SVHN、Fashion-MNIST）上均表现出稳健性，且在泛化预测方面持续优于基线方法。