[论文解读] Towards Compact CNNs via Collaborative Compression

Yuchao Li, Shaohui Lin+8 more|arXiv (Cornell University)|May 24, 2021

Advanced Neural Network Applications参考文献 43被引用 7

一句话总结

本文提出协同压缩（CC），一种后训练框架，通过联合优化卷积神经网络（CNN）中的通道剪枝与张量分解，实现在极低精度损失下实现高倍率压缩。通过全局压缩率优化与多步启发式压缩，CC在ImageNet-1K上仅造成0.56%的Top-1精度下降，便将ResNet-50的计算量减少52.9%，参数量减少48.4%。

ABSTRACT

Channel pruning and tensor decomposition have received extensive attention in convolutional neural network compression. However, these two techniques are traditionally deployed in an isolated manner, leading to significant accuracy drop when pursuing high compression rates. In this paper, we propose a Collaborative Compression (CC) scheme, which joints channel pruning and tensor decomposition to compress CNN models by simultaneously learning the model sparsity and low-rankness. Specifically, we first investigate the compression sensitivity of each layer in the network, and then propose a Global Compression Rate Optimization that transforms the decision problem of compression rate into an optimization problem. After that, we propose multi-step heuristic compression to remove redundant compression units step-by-step, which fully considers the effect of the remaining compression space (i.e., unremoved compression units). Our method demonstrates superior performance gains over previous ones on various datasets and backbone architectures. For example, we achieve 52.9% FLOPs reduction by removing 48.4% parameters on ResNet-50 with only a Top-1 accuracy drop of 0.56% on ImageNet 2012.

研究动机与目标

• 解决在高倍率压缩场景下，孤立进行通道剪枝与张量分解所导致的性能不佳问题。
• 克服现有训练感知方法在压缩率控制方面缺乏灵活性的局限性。
• 开发一种无需微调或重训练的后训练压缩框架，联合利用稀疏性与低秩性。
• 在保持模型精度的前提下，实现自动化的、逐层的压缩率控制。
• 通过考虑被移除单元的动态影响与剩余压缩空间，提升压缩的可靠性与性能。

提出的方法

• 提出全局压缩率优化（GCRO），通过指数函数建模压缩敏感度，并求解最优逐层压缩率。
• 将压缩敏感度定义为信息损失与压缩率之间指数拟合的一阶导数。
• 实现多步启发式压缩（MSHC），通过迭代方式逐步移除重要性较低的单元，同时考虑先前移除操作的影响与剩余压缩空间。
• 采用统一的重要性度量指标，结合通道幅值与奇异值幅值，指导单元移除决策。
• 在确定最优压缩率后，独立地对每一层应用压缩策略，避免对压缩率与策略进行联合优化。
• 利用预训练模型实现快速、实用的后训练压缩，无需微调或重新训练。

Figure 1: The framework of our method. We first compute the group values between information loss and compression rate in each layer and then obtain the compression rate of each layer by solving a global compression rate optimization problem based on them. After that, we compress each layer independ

实验结果

研究问题

• RQ1 在高倍率压缩场景下，联合优化通道剪枝与张量分解是否能优于顺序或孤立的压缩方法？
• RQ2 如何在无需超参数调优的前提下，自动且可靠地确定每层的压缩率？
• RQ3 压缩顺序（先剪枝后分解 vs. 先分解后剪枝）对最终模型性能有何影响？
• RQ4 考虑被移除单元的动态效应与剩余压缩空间，如何提升压缩的可靠性？
• RQ5 协同压缩在降低FLOPs与参数量的同时，能在多大程度上保持模型精度？

主要发现

• 在ResNet-50上，CC实现52.9%的FLOPs减少与48.4%的参数减少，且在ImageNet-2012上仅造成0.56%的Top-1精度下降。
• 在VGG-16上，CC在批量大小为32的条件下实现1.54倍的CPU推理速度提升；在ResNet-50上实现1.36倍的速度提升。
• 多步启发式压缩（MSHC）组件对性能的贡献大于全局压缩率优化（GCRO），表明压缩策略的选择比压缩率选择更为关键。
• 压缩顺序（先剪枝后分解 vs. 先分解后剪枝）对最终精度影响极小，表明网络结构的重要性超过权重初始化顺序的影响。
• 在ResNet-50中，每个瓶颈块的第一个卷积层更倾向于稀疏性，而最后一个卷积层更倾向于低秩性，表明不同层具有特定的冗余模式。
• 在多个网络架构（VGG、GoogleNet、ResNet、DenseNet）与数据集（CIFAR-10、ImageNet-2012）上，CC在压缩效率与精度保持方面均优于当前最先进方法。

(a) Resnet56: B2-U8-C2