[论文解读] Neural Pruning via Growing Regularization

Huan Wang, Can Qin+2 more|arXiv (Cornell University)|Dec 16, 2020

Domain Adaptation and Few-Shot Learning参考文献 63被引用 4

一句话总结

本文提出一种渐进式正则化方法，通过逐步增强L2惩罚强度来提升神经网络剪枝性能，同时解决剪枝调度和权重重要性评分问题。该方法在无需显式计算Hessian矩阵的情况下，利用Hessian诱导的权重幅度分离特性，实现了在CIFAR-10/100和ImageNet上结构化与非结构化剪枝的最先进精度表现。

ABSTRACT

Regularization has long been utilized to learn sparsity in deep neural network pruning. However, its role is mainly explored in the small penalty strength regime. In this work, we extend its application to a new scenario where the regularization grows large gradually to tackle two central problems of pruning: pruning schedule and weight importance scoring. (1) The former topic is newly brought up in this work, which we find critical to the pruning performance while receives little research attention. Specifically, we propose an L2 regularization variant with rising penalty factors and show it can bring significant accuracy gains compared with its one-shot counterpart, even when the same weights are removed. (2) The growing penalty scheme also brings us an approach to exploit the Hessian information for more accurate pruning without knowing their specific values, thus not bothered by the common Hessian approximation problems. Empirically, the proposed algorithms are easy to implement and scalable to large datasets and networks in both structured and unstructured pruning. Their effectiveness is demonstrated with modern deep neural networks on the CIFAR and ImageNet datasets, achieving competitive results compared to many state-of-the-art algorithms. Our code and trained models are publicly available at https://github.com/mingsuntse/regularization-pruning.

研究动机与目标

• 解决神经网络剪枝中长期被忽视的剪枝调度问题，该问题显著影响性能但鲜少受到研究关注。
• 提出一种方法，利用Hessian信息实现精确的权重重要性评分，而无需显式计算或近似Hessian矩阵。
• 通过一种可扩展、易于实现的正则化方案，实现高效的非结构化与结构化剪枝，同时在剪枝过程中增强模型表达能力。
• 证明当结合渐进式正则化时，基于幅度的剪枝可达到基于Hessian的剪枝性能，从而弥合两种主要剪枝范式之间的差距。

提出的方法

• 提出一种渐进式L2正则化方案，其中惩罚因子在训练过程中逐步增加，而非固定为较小值。
• 利用逐渐增强的惩罚项促使不重要的权重趋近于零，从而支持使用简单的幅度标准实现精确剪枝。
• 隐式利用权重的局部二次结构（即Hessian）：曲率更高的权重受到更强惩罚，从而实现更优的幅度分离。
• 设计两种变体：GReg-1用于结构化剪枝（滤波器级别），GReg-2用于非结构化剪枝，两者均采用递增的L2惩罚。
• 将该方法应用于小规模（CIFAR）与大规模（ImageNet）数据集，并采用标准训练协议以确保公平比较。
• 通过依赖渐进式正则化的自然动态过程，避免Hessian近似，从而反映不同权重间曲率差异。

实验结果

研究问题

• RQ1 与固定正则化的一次性剪枝相比，渐进式正则化调度是否能显著提升剪枝性能？
• RQ2 渐进式正则化是否能在无需显式Hessian计算或近似的情况下，隐式利用Hessian信息实现权重重要性评分？
• RQ3 所提方法在大规模基准测试中是否达到或优于当前最先进水平的结构化与非结构化剪枝方法？
• RQ4 剪枝调度是否与权重重要性准则同等重要，共同决定最终模型性能？
• RQ5 基于幅度的剪枝是否可通过渐进式正则化框架实现基于Hessian的剪枝性能？

主要发现

• 在ImageNet上使用ResNet50实现约2.5倍加速时，GReg-2达到74.93%的top-1准确率，较Taylor-FO（71.69%）高出3.24个百分点，表现更优。
• 在ImageNet上实现约3倍加速时，GReg-2达到73.90%的top-1准确率，较Taylor-FO高出2.23个百分点，表明在更高稀疏度下仍具优越性能。
• 在CIFAR-100上实现2.5倍加速时，GReg-2达到74.85%的top-1准确率，较基线高出1.28个百分点，且与或超过当前最先进方法。
• 在ImageNet的非结构化剪枝中，GReg-2在82.7%稀疏度下达到75.45%的top-1准确率，准确率高于WoodFisher（75.20%），且性能下降相当，尽管未使用Hessian近似。
• GReg-1作为更简单的变体，在82.7%稀疏度下达到75.45%的top-1准确率，表明仅改进剪枝调度即可实现强劲性能。
• 该方法在结构化与非结构化剪枝中均具备可扩展性与高效性，无需复杂的Hessian估计或迭代微调。