[论文解读] Structured Pruning for Efficient ConvNets via Incremental Regularization

Huan Wang, Qiming Zhang+2 more|arXiv (Cornell University)|Nov 20, 2018

Advanced Neural Network Applications参考文献 38被引用 8

一句话总结

本文提出 IncReg，一种用于高效卷积神经网络的结构化剪枝方法，通过渐进式正则化逐步增加对不重要权重组的正则化因子，从而在剪枝过程中实现更好的网络适应性。该方法在 CIFAR-10 和 ImageNet 基准测试中实现了最先进水平的准确率与加速效果，尤其在高剪枝率及紧凑网络（如 ResNet-50）下表现突出。

ABSTRACT

Parameter pruning is a promising approach for CNN compression and acceleration by eliminating redundant model parameters with tolerable performance loss. Despite its effectiveness, existing regularization-based parameter pruning methods usually drive weights towards zero with large and constant regularization factors, which neglects the fact that the expressiveness of CNNs is fragile and needs a more gentle way of regularization for the networks to adapt during pruning. To solve this problem, we propose a new regularization-based pruning method (named IncReg) to incrementally assign different regularization factors to different weight groups based on their relative importance, whose effectiveness is proved on popular CNNs compared with state-of-the-art methods.

研究动机与目标

• 为解决结构化剪枝过程中卷积神经网络表达能力的脆弱性，避免突然施加正则化惩罚。
• 克服现有组正则化方法中恒定正则化因子的局限性，后者假设所有权重组的重要性相等。
• 通过实现渐进式、基于重要性的正则化，提升剪枝性能，特别是在高剪枝率和紧凑网络下的表现。
• 开发一种在实现显著加速的同时保持高准确率的结构化稀疏化方法。
• 通过根据权重组重要性动态调整正则化，实现更自适应、更稳定的剪枝过程。

提出的方法

• 该方法引入一种渐进式正则化方案，其中每个权重组的正则化因子 λg 随训练迭代次数逐步增加。
• 采用分段线性惩罚函数，根据权重组的相对重要性排序分配不同的正则化增量 Δλg，重要性更高的组（排名靠前）获得负增量（即减少正则化）。
• 通过跨迭代的时间平均 L1-范数排序来衡量重要性，确保剪枝过程的稳定性。
• 正则化形式采用权重衰减（L2），但其核心创新在于动态、组特定的 λg 值，而非固定的全局 λ。
• 剪枝在所有卷积层中一次性同步执行，当权重幅度降至 1e-6 以下时即被移除。
• 该方法与其他压缩技术（如量化和知识蒸馏）正交，可与之结合使用。

实验结果

研究问题

• RQ1 与恒定正则化方案相比，渐进式、基于重要性的正则化是否能提升结构化剪枝的性能？
• RQ2 在高剪枝率下，特别是针对紧凑架构（如 ResNet-50）时，动态调整正则化因子是否有助于保持网络表达能力？
• RQ3 渐进式、温和的正则化策略是否能减少结构化剪枝过程中的性能下降，同时保持高加速比？
• RQ4 在不同剪枝率下，与 SOTA 结构化剪枝基线方法（如 AFP 和 SPP）相比，所提方法在准确率与加速比方面表现如何？
• RQ5 所提方法在 VGG-16 和 ResNet-50 等多样化网络架构上是否能保持稳定且一致的性能表现？

主要发现

• 在 CIFAR-10 上，IncReg 实现了 4.1× 加速，top-5 准确率为 79.2%（行稀疏性），以及 4.6× 加速，准确率为 81.2%（列稀疏性），优于 AFP 和 SSL。
• 在高剪枝率下（9.9× 加速），IncReg 在 VGG-16 上实现 76.0% 的 top-5 准确率，显著优于 AFP（73.4%）和 SPP（75.2%）。
• 在 ResNet-50 上，IncReg 实现 10.0× 加速，top-5 准确率为 78.7%，优于 CP、SPP 和 AFP，证明其在紧凑网络上的有效性。
• 在 VGG-16 上的推理时间评估显示，IncReg 在 CPU 上实现 4.4× 加速（409ms），在 GPU 上实现 2.6× 加速（1.991ms），仅比基线增加 0.1% 的误差。
• 在 ImageNet 上，IncReg 在 5× 加速下仅增加 0.1% 的误差，而 AFP 和 CP 分别增加 1.5% 和 1.7%，表明其具有更优的准确率保持能力。
• 渐进式正则化方案通过减轻关键权重的初始正则化压力，使网络适应性更强，尤其在大剪枝率下表现更优。