[论文解读] The Generalization-Stability Tradeoff In Neural Network Pruning

Brian R. Bartoldson, Ari S. Morcos+2 more|arXiv (Cornell University)|Jun 9, 2019

Neural Networks and Applications参考文献 67被引用 30

一句话总结

本文揭示了神经网络剪枝中的泛化-稳定性权衡：剪枝稳定性越低——即剪枝后测试准确率的下降幅度越大——泛化性能反而越好。作者表明，剪枝的作用类似于噪声注入，通过增加模型的平坦度来提升泛化性能，而无需永久移除参数，从而解决了在过参数化网络中为何剪枝能改善泛化性能的悖论。

ABSTRACT

Pruning neural network parameters is often viewed as a means to compress models, but pruning has also been motivated by the desire to prevent overfitting. This motivation is particularly relevant given the perhaps surprising observation that a wide variety of pruning approaches increase test accuracy despite sometimes massive reductions in parameter counts. To better understand this phenomenon, we analyze the behavior of pruning over the course of training, finding that pruning's benefit to generalization increases with pruning's instability (defined as the drop in test accuracy immediately following pruning). We demonstrate that this "generalization-stability tradeoff" is present across a wide variety of pruning settings and propose a mechanism for its cause: pruning regularizes similarly to noise injection. Supporting this, we find less pruning stability leads to more model flatness and the benefits of pruning do not depend on permanent parameter removal. These results explain the compatibility of pruning-based generalization improvements and the high generalization recently observed in overparameterized networks.

研究动机与目标

• 解决过参数化网络具有高泛化性能与剪枝能进一步改善其性能之间的明显矛盾。
• 探究剪枝带来的泛化优势是否源于参数数量的减少，还是源于正则化效应。
• 考察剪枝不稳定性在影响模型平坦度和泛化性能中的作用。
• 检验当剪枝后的权重在训练后被恢复时，剪枝带来的泛化改进是否依然存在，从而挑战‘永久移除参数是必要条件’的假设。

提出的方法

• 作者将剪枝不稳定性定义为剪枝后测试准确率的相对下降：不稳定性 = (t_pre - t_post) / t_pre。
• 通过调整幅度剪枝的超参数（如剪枝比例、剪枝时机和幅度阈值），生成不同水平的不稳定性与泛化性能。
• 利用基于海森矩阵的度量和扰动分析，将剪枝不稳定性与模型平坦度相关联。
• 使用CIFAR-10和CIFAR-100上的测试准确率评估泛化性能，比较稳定剪枝与不稳定剪枝训练的模型。
• 开展消融实验，在训练后重新激活被剪枝的权重，以检验永久移除参数是否为提升泛化性能的必要条件。
• 基于海森矩阵迹与曲率矩阵迹的比值，使用Takeuchi信息准则（TIC）的代理指标来估计泛化差距。

实验结果

研究问题

• RQ1 剪枝是否通过正则化而非参数数量减少来提升泛化性能？
• RQ2 是否存在剪枝稳定性与模型泛化性能之间的权衡？
• RQ3 当剪枝后的权重在训练后被恢复时，剪枝带来的泛化优势是否依然存在？
• RQ4 剪枝在多大程度上增加了模型平坦度，且这种平坦度提升是否与泛化性能改善相关？
• RQ5 剪枝不稳定性与平坦度度量及泛化性能在不同数据集和架构上的相关性如何？

主要发现

• 剪枝稳定性越低，泛化性能越好，Prune L在CIFAR-100上达到73.41%的测试准确率，而Prune S为73.22%，尽管其稳定性更低。
• 该泛化-稳定性权衡在多个数据集（包括CIFAR-100）中均成立，表明其并非小数据集的偶然现象。
• 在训练后恢复被剪枝的权重，仍能保持泛化优势，证明永久移除参数并非提升泛化性能的必要条件。
• 剪枝不稳定性与模型平坦度呈负相关，该关系通过海森矩阵特征向量扰动和权重扰动下的损失增加来衡量。
• 基于Tr(C)/Tr(H)的TIC代理指标能够预测泛化性能，并证实较低稳定性导致更好泛化。
• 结果支持剪枝正则化机制与噪声注入相似的假设，即不稳定性在表示层面引入噪声，促使模型收敛于更平坦的极小值。