[论文解读] Robustness to Pruning Predicts Generalization in Deep Neural Networks

Lorenz Kuhn, Clare Lyle+3 more|arXiv (Cornell University)|Mar 10, 2021

Machine Learning and Algorithms参考文献 33被引用 9

一句话总结

本文引入了可剪枝性（prunability）——一种新的神经网络简洁性度量，定义为在不增加训练损失的前提下可保留的参数最小比例。实验证明，可剪枝性在多种模型中均能强有力地预测泛化性能，优于现有的复杂度度量，尤其在过参数化设置和双 descent（双下降）情形下表现更优。

ABSTRACT

Existing generalization measures that aim to capture a model's simplicity based on parameter counts or norms fail to explain generalization in overparameterized deep neural networks. In this paper, we introduce a new, theoretically motivated measure of a network's simplicity which we call prunability: the smallest \emph{fraction} of the network's parameters that can be kept while pruning without adversely affecting its training loss. We show that this measure is highly predictive of a model's generalization performance across a large set of convolutional networks trained on CIFAR-10, does not grow with network size unlike existing pruning-based measures, and exhibits high correlation with test set loss even in a particularly challenging double descent setting. Lastly, we show that the success of prunability cannot be explained by its relation to known complexity measures based on models' margin, flatness of minima and optimization speed, finding that our new measure is similar to -- but more predictive than -- existing flatness-based measures, and that its predictions exhibit low mutual information with those of other baselines.

研究动机与目标

• 解决传统泛化度量（如参数范数和参数数量）在过参数化深度神经网络中无法预测泛化性能的问题。
• 识别一种新的、具有理论基础的模型简洁性度量，避免出现“更大模型泛化更差”这一反直觉预测。
• 通过实证研究证明，可剪枝性与在 CIFAR-10 和 CIFAR-100 上训练的多种卷积网络的测试性能具有强相关性。
• 探究可剪枝性是否捕捉了与现有度量（如平坦度、间隔和优化速度）不同的归纳偏置。
• 在具有挑战性的双下降情形中评估可剪枝性，此时泛化行为违背经典归纳偏置。

提出的方法

• 将可剪枝性定义为通过迭代剪枝（如基于大小的剪枝）后，可在不增加训练损失的前提下保留的最小参数比例。
• 使用迭代大小剪枝计算每个训练后模型的可剪枝性，当训练损失开始上升时停止。
• 将可剪枝性与现有泛化基线进行比较：间隔、平坦度（通过 Hessian 曲率衡量）、优化速度以及对随机扰动的鲁棒性。
• 应用条件独立性检验和互信息分析（如 Kendall’s τ、调整决定系数 R²、条件互信息）以评估可剪枝性与其他度量之间的统计关系。
• 在多种架构（如 ResNets）和数据集（CIFAR-10、CIFAR-100）上进行实验，包括不同模型宽度下的双下降设置。
• 通过比较剪枝与等幅随机权重扰动对训练和测试损失的影响，分析其功能差异。

实验结果

研究问题

• RQ1 可剪枝性能否作为过参数化深度神经网络中泛化性能的可靠预测器？
• RQ2 可剪枝性是否避免了传统复杂度度量随模型规模增大而错误预测更大模型泛化更差的缺陷？
• RQ3 可剪枝性与现有泛化度量（如极小值的平坦度、间隔和优化速度）相比表现如何？
• RQ4 可剪枝性的预测能力是否可由其与现有度量的相关性解释，还是其捕捉了某种独立的归纳偏置？
• RQ5 在双下降情形中，可剪枝性如何表现？此时模型容量超过训练数据量后，泛化误差反而下降。

主要发现

• 可剪枝性在多种在 CIFAR-10 上训练的卷积网络中均高度预测泛化性能，与测试损失具有强相关性。
• 与基于范数或参数计数的度量不同，可剪枝性不随模型规模增大而增长，且正确预测了更大模型泛化性能更好。
• 在双下降情形中，可剪枝性仍能有效反映测试性能，且表现优于或至少不逊于现有强基线。
• 可剪枝性与随机扰动鲁棒性具有较高的条件互信息，但其预测能力更强，表明其捕捉了更相关、不同的简洁性方面。
• 剪枝对训练损失的负面影响大于等幅随机扰动，但剪枝可改善测试损失——表明其具有功能上的差异，可能解释了可剪枝性更优的性能。
• 可剪枝性与基于平坦度的度量及基于间隔的度量互信息较低，表明其捕捉了一种不被现有方法涵盖的独立归纳偏置。