[论文解读] Operation-Aware Soft Channel Pruning using Differentiable Masks

Min Soo Kang, Bohyung Han|arXiv (Cornell University)|Jul 8, 2020

Speech and Audio Processing被引用 32

一句话总结

本文提出一种可微分、数据驱动的通道剪枝方法，通过利用 BN 和 ReLU 在不需要额外微调的情况下共同学习模型参数和软掩码，在相似资源预算下实现更高的准确率。

ABSTRACT

We propose a simple but effective data-driven channel pruning algorithm, which compresses deep neural networks in a differentiable way by exploiting the characteristics of operations. The proposed approach makes a joint consideration of batch normalization (BN) and rectified linear unit (ReLU) for channel pruning; it estimates how likely the two successive operations deactivate each feature map and prunes the channels with high probabilities. To this end, we learn differentiable masks for individual channels and make soft decisions throughout the optimization procedure, which facilitates to explore larger search space and train more stable networks. The proposed framework enables us to identify compressed models via a joint learning of model parameters and channel pruning without an extra procedure of fine-tuning. We perform extensive experiments and achieve outstanding performance in terms of the accuracy of output networks given the same amount of resources when compared with the state-of-the-art methods.

研究动机与目标

• 通过在深度网络中剪枝通道来实现模型压缩，并且不需要单独的微调步骤。
• 利用批量归一化（BN）与 ReLU 的交互来以最小的准确率损失对通道进行概率剪枝。
• 开发一个端到端的可微分框架，联合优化网络参数和通道掩码。
• 提供实证证据表明所提方法在数据集和骨干网络上普遍优于先前的结构化剪枝方法。

提出的方法

• 为每个通道基于 BN 参数（beta、gamma）及 ReLU 的影响定义一个概率掩码。
• 用可微分的逻辑函数放松离散剪枝掩码，并采用 Gumbel-Softmax 进行可微分采样。
• 修改 BN 层，将随机掩码并入其前向传递，使掩码可反向传播。
• 引入一个稀疏性损失，通过增加与 BN 参数相关的高斯分布的 CDF 来鼓励剪枝。
• 端到端地训练网络，联合优化模型权重和掩码，无需单独的微调阶段。

实验结果

研究问题

• RQ1 BN 和 ReLU 能否共同提供一个可靠的、概率性的通道剪枝准则？
• RQ2 在相同资源约束下，掩码与参数的联合可微学习是否比以往剪枝方法获得更高的准确率？
• RQ3 带有高斯置信区间的稀疏性损失如何影响通道数量的减少和性能？
• RQ4 通过一个可微分的、联合训练框架进行剪枝时是否不需要微调？

主要发现

• 与 SFP、FPGM、Slimming 和 Variational Pruning 相比，在 CIFAR-10/100 与不同骨干网络上，所提出的 SCP 的精度下降更小。
• 在 CIFAR 数据集上，SCP 常常达到与基线相当或更好的准确率，同时显著减少通道、参数和 FLOPs。
• 在 ILSVRC-12 上，SCP 显示出具有竞争力的 top-1/top-5 降幅，并实现显著的 FLOPs 降低，与此同时在不额外微调的情况下获得实际的加速（约 ~24% 推理时间）。
• 消融实验表明在剪枝准则中加入 ReLU 相较于仅使用 BN 的剪枝（“SCP without ReLU”）能够提升性能。
• 在损失中的稀疏性 λ 增大通常会带来更大的 FLOPs 降低，但对准确率的影响波动，体现出一个可控的权衡。