[论文解读] SCOP: Scientific Control for Reliable Neural Network Pruning

Yehui Tang, Yunhe Wang+5 more|arXiv (Cornell University)|Oct 21, 2020

Advanced Neural Network Applications参考文献 46被引用 85

一句话总结

SCOP 将 knockoff 特征作为科学对照组，用于在预训练的 CNN 中可靠地裁剪滤波器，在最小的准确度损失下实现显著的压缩（例如，在 ResNet-101 上减少 57.8% 的参数和 60.2% 的 FLOPs，0.01% 的 top-1 损失）。

ABSTRACT

This paper proposes a reliable neural network pruning algorithm by setting up a scientific control. Existing pruning methods have developed various hypotheses to approximate the importance of filters to the network and then execute filter pruning accordingly. To increase the reliability of the results, we prefer to have a more rigorous research design by including a scientific control group as an essential part to minimize the effect of all factors except the association between the filter and expected network output. Acting as a control group, knockoff feature is generated to mimic the feature map produced by the network filter, but they are conditionally independent of the example label given the real feature map. We theoretically suggest that the knockoff condition can be approximately preserved given the information propagation of network layers. Besides the real feature map on an intermediate layer, the corresponding knockoff feature is brought in as another auxiliary input signal for the subsequent layers. Redundant filters can be discovered in the adversarial process of different features. Through experiments, we demonstrate the superiority of the proposed algorithm over state-of-the-art methods. For example, our method can reduce 57.8% parameters and 60.2% FLOPs of ResNet-101 with only 0.01% top-1 accuracy loss on ImageNet. The code is available at https://github.com/huawei-noah/Pruning/tree/master/SCOP_NeurIPS2020.

研究动机与目标

• 通过在修剪决策中最小化无关因素的干扰来推动可靠的滤波器剪枝。
• 提出使用 knockoff 特征的科学对照框架，以区分真正重要的滤波器。
• 开发一种高效的生成 knockoff 数据的方法，并将其与可学习的缩放因子相结合用于剪枝。
• 展示在 CIFAR-10 和 ImageNet 数据集上最先进的压缩-精度权衡。

提出的方法

• 定义与真实特征可交换但与标签独立的 knockoff 特征。
• 表明 knockoff 特征可以通过网络层传递，利用两个引理实现无须重新训练生成器的分层 knockoffs。
• 引入一个对抗性选择层，联合对真实特征和 knockoff 特征进行缩放，约束为 beta + beta~ = 1。
• 使用带标签数据来优化真实特征和 knockoff 特征的缩放因子，以识别更多依赖真实数据而非 knockoffs 的滤波器。
• 通过计算重要性统计量 I = beta - beta~（若存在则用 BN 缩放进行调整）来裁剪滤波器。
• 对剪枝后的网络进行微调，以恢复或提升性能。

实验结果

研究问题

• RQ1 knockoff 特征能否作为有效对照组，在剪枝过程中识别冗余的 CNN 滤波器？
• RQ2 如何高效生成 knockoff 数据并传播 through 深度网络，以支持可靠剪枝？
• RQ3 使用 SCOP 的剪枝结果在标准基准上是否在准确性-参数/ FLOPs 权衡方面优于最先进方法？
• RQ4 提议的 SCOP 框架在架构和数据集（CIFAR-10 与 ImageNet）上是否鲁棒？

主要发现

• SCOP 在 CIFAR-10 上显著减少参数和 FLOPs，同时保持的准确率优于若干最先进的剪枝方法（例如，ResNet-56：FLOPs 降幅 56.0%，准确率下降 0.06%）。
• 在 ImageNet 上，SCOP 在压缩幅度大于多数基线的情况下实现了具有竞争力的 top-1/top-5 准确率（例如，ResNet-50：top-1 为 24.74%，并伴随显著的 FLOPs 降低）。
• SCOP 可以达到 ResNet-101 的 57.8% 参数压缩和 60.2% FLOPs 压缩，且 top-1 准确率损失仅 0.01%。
• 消融研究表明，移除对照组会增加误差，证实 knockoffs 对可靠剪枝的重要性。
• 在 GPU 上的现实加速与理论 FLOPs 的显著降低一致，验证了 SCOP 的实际效益。