[论文解读] PruneNet: Channel Pruning via Global Importance

Ashish Khetan, Zohar Karnin|arXiv (Cornell University)|May 22, 2020

Advanced Neural Network Applications参考文献 34被引用 11

一句话总结

PruneNet 提出了一种数据驱动的、全局优化的通道剪枝方法，通过轻量级优化步骤确定每层的通道宽度，实现了更高的准确率和 FLOP 效率。在 ImageNet 上，PruneNet 剪枝后的 ResNet-50 准确率超过 ResNet-34 和 ResNet-18，同时减少了 FLOPs；剪枝后的 ResNet-101 准确率也优于 ResNet-50。

ABSTRACT

Channel pruning is one of the predominant approaches for accelerating deep neural networks. Most existing pruning methods either train from scratch with a sparsity inducing term such as group lasso, or prune redundant channels in a pretrained network and then fine tune the network. Both strategies suffer from some limitations: the use of group lasso is computationally expensive, difficult to converge and often suffers from worse behavior due to the regularization bias. The methods that start with a pretrained network either prune channels uniformly across the layers or prune channels based on the basic statistics of the network parameters. These approaches either ignore the fact that some CNN layers are more redundant than others or fail to adequately identify the level of redundancy in different layers. In this work, we investigate a simple-yet-effective method for pruning channels based on a computationally light-weight yet effective data driven optimization step that discovers the necessary width per layer. Experiments conducted on ILSVRC-$12$ confirm effectiveness of our approach. With non-uniform pruning across the layers on ResNet-$50$, we are able to match the FLOP reduction of state-of-the-art channel pruning results while achieving a $0.98\%$ higher accuracy. Further, we show that our pruned ResNet-$50$ network outperforms ResNet-$34$ and ResNet-$18$ networks, and that our pruned ResNet-$101$ outperforms ResNet-$50$.

研究动机与目标

• 为解决均匀剪枝或基于统计的通道剪枝方法的局限性，实现每层特定的、数据驱动的通道宽度选择。
• 开发一种计算高效的剪枝方法，避免昂贵的正则化方法（如组套索）的同时，优于微调后的剪枝模型。
• 证明剪枝后的大型网络（如 ResNet-50）可以超越更小、手工设计的架构（如 ResNet-34）在准确率和效率上的表现。
• 验证跨层非均匀剪枝相比均匀剪枝或标准模型变体能获得更好的性能。

提出的方法

• PruneNet 引入了一种基于轻量级、数据驱动优化步骤的全局重要性评分，以确定每层的最优通道数。
• 该方法采用可微分的剪枝策略，在微调过程中联合优化通道宽度和网络权重。
• 将通道剪枝建模为一个约束优化问题，目标是在减少 FLOPs 的同时最小化准确率下降。
• 该方法采用自适应的剪枝策略，根据通道对网络性能的全局贡献度来逐步移除通道。
• 采用两阶段训练流程：首先，利用激活统计量计算全局重要性度量；其次，使用选定的通道宽度对网络进行微调。
• 该方法在预训练后应用，无需从头开始训练，也无需使用组套索等复杂正则化。

实验结果

研究问题

• RQ1 数据驱动的、非均匀的通道剪枝策略是否能超越标准小网络（如 ResNet-34 和 ResNet-18）？
• RQ2 全局优化的通道剪枝方法是否能实现比均匀剪枝或基于统计的剪枝更好的准确率-FLOP 权衡？
• RQ3 剪枝后的 ResNet-50 是否能超越更大的未剪枝 ResNet-101 的性能？
• RQ4 在准确率和效率方面，PruneNet 与 SOTA 通道剪枝方法（如 DCP 和 ThiNet）相比表现如何？

主要发现

• 剪枝后的 ResNet-50 在准确率上比 SOTA 通道剪枝方法高出 0.98%，同时保持了相同的 FLOP 减少水平。
• 尽管 FLOPs 更少，剪枝后的 ResNet-50 在准确率和吞吐量方面均优于 ResNet-34 和 ResNet-18。
• 剪枝后的 ResNet-101 在准确率和吞吐量方面均优于原始的 ResNet-50，证明剪枝可生成比手工设计的小型变体更高效的架构。
• 在 Caltech-256 上，剪枝后的 ResNet-50 在 FLOPs 减少至 10 倍时，准确率保持不变或提升，在 FLOPs 减少 5.75 倍时，Top-1 准确率提升了 7.53%。
• 在激进剪枝（如 FLOPs 减少 10 倍）的情况下，PruneNet 在准确率上仍显著优于均匀剪枝和 SOTA 基线方法（如 DCP 和 ThiNet）。
• PruneNet 的 GCP-f 变体在 FLOPs 减少 5 倍时，相比 ResNet-50 准确率提升了 3.86%，同时参数量减少了 3.09 倍。