[论文解读] NISP: Pruning Networks using Neuron Importance Score Propagation

Ruichi Yu, Ang Li+7 more|arXiv (Cornell University)|Nov 16, 2017

Advanced Neural Network Applications参考文献 38被引用 62

一句话总结

NISP 通过将最终响应重要性分数向网络后向传播来剪枝 CNN，以识别并移除不重要的神经元，从而在最小化准确性损失的前提下获得更快更小的模型。

ABSTRACT

To reduce the significant redundancy in deep Convolutional Neural Networks (CNNs), most existing methods prune neurons by only considering statistics of an individual layer or two consecutive layers (e.g., prune one layer to minimize the reconstruction error of the next layer), ignoring the effect of error propagation in deep networks. In contrast, we argue that it is essential to prune neurons in the entire neuron network jointly based on a unified goal: minimizing the reconstruction error of important responses in the "final response layer" (FRL), which is the second-to-last layer before classification, for a pruned network to retrain its predictive power. Specifically, we apply feature ranking techniques to measure the importance of each neuron in the FRL, and formulate network pruning as a binary integer optimization problem and derive a closed-form solution to it for pruning neurons in earlier layers. Based on our theoretical analysis, we propose the Neuron Importance Score Propagation (NISP) algorithm to propagate the importance scores of final responses to every neuron in the network. The CNN is pruned by removing neurons with least importance, and then fine-tuned to retain its predictive power. NISP is evaluated on several datasets with multiple CNN models and demonstrated to achieve significant acceleration and compression with negligible accuracy loss.

研究动机与目标

• 通过最小化最终响应重建误差（FRL），推动对整个神经网络的剪枝，而不是逐层剪枝。
• 引入 Neuron Importance Score Propagation (NISP)，将 FRL 重要性传播到所有神经元。
• 将剪枝表述为二进制优化，并推导出神经元重要性的闭式解。
• 提供一种基于反向传播的快速剪枝方法，带有预定义的各层剪枝比例并进行微调以恢复准确性。

提出的方法

• 使用特征排序方法（Inf-FS）衡量最终响应层的重要性。
• 通过使用闭式传播规则的反向传播，将 FRL 的神经元重要性分数传播到更早的层。
• 将剪枝表述为二进制优化，最小化相对于被剪枝网络的 FRL 的加权重构误差，并推导出一个基于上界的解。
• 根据传播的分数和预定义的每层剪枝比例剪枝神经元/通道，并对剪枝后的模型进行微调。
• 通过适当聚合神经元/通道的重要性来处理不同的层类型（全连接和卷积）。

实验结果

研究问题

• RQ1 由最终响应重要性引导、在整个网络中传播的剪枝是否能比逐层剪枝或基于幅度的剪枝更好地保持准确性？
• RQ2 在标准 CNN 上，使用 NISP 可以将 FLOPs 和参数减少到多少，同时保持有竞争力的准确性？
• RQ3 仅需一次反向传播就足以计算跨深度架构的全局神经元重要性分数以进行剪枝吗？

主要发现

• NISP 在 MNIST、CIFAR-10 和 ImageNet 上实现显著的加速与压缩，且精度损失可忽略。
• 与随机剪枝和从头开始训练相比，NISP 更好地保留准确性，并在微调阶段收敛更快。
• NISP 在幅度基剪枝和逐层剪枝方面优于其他方法，尤其是在网络深度增加时，由于重建误差传播减少表现更佳。
• 在 AlexNet 上，NISP 的变体达到约 ~67.85% 的 FLOPs 下降，且仅损失 1.43% 的 top-1 准确率；在 ResNet-56 上，约 43.61% 的 FLOPs 下降，近似零精度损失。
• NISP 在 GoogLeNet（Inception 模块）以及 ResNet-34/50 上显示出强劲性能，具有显著的 FLOPs 和参数减少以及较小的精度损失。