[论文解读] PCAS: Pruning Channels with Attention Statistics.

Kohei Yamamoto, Kurato Maeno|arXiv (Cornell University)|Jun 14, 2018

Advanced Neural Network Applications被引用 9

一句话总结

该论文提出PCAS，一种基于注意力统计的通道剪枝方法，可自动评估通道重要性并使用单一全局压缩率选择通道。在CIFAR-10上的ResNet-50模型中，该方法实现了90.8%的参数减少和79.4%的FLOPs减少，仅造成1%的准确率下降，实现了面向边缘设备的高效模型压缩。

ABSTRACT

To implement deep neural networks on small embedded devices, conventional techniques use channel pruning looking considering manual compression rate per layer to reduce parameters. Besides it is difficult to consider the relationships between layers and it takes a lot of time for deeper models. For addressing these issues, we propose a new channel pruning technique based on attention that can evaluate the importance of channels. We improved the method with the criterion to allow the automatic channel selection using a single compression rate for the entire model. Experimental results showed that a parameter reduction of 90.8% and FLOPs reduction of 79.4% was achieved with an accuracy degradation of around 1% for the compressed ResNet-50 model on the CIFAR-10 benchmark.

研究动机与目标

• 解决在嵌入式设备上高效模型部署时，通道剪枝中手动、逐层设置压缩率的局限性。
• 通过单一全局压缩率实现在所有层上的自动、统一的通道选择。
• 利用注意力统计评估通道重要性，提升深层模型的剪枝效率并降低计算成本。
• 在资源受限的边缘推理场景下，实现高比例模型压缩，同时保持最小的准确率退化。

提出的方法

• 该方法引入基于注意力的准则，以评估网络中各通道的重要性。
• 通过计算每通道的注意力统计量，量化特征图的贡献，并指导剪枝决策。
• 在整个网络中统一应用单一全局压缩率，无需对各层进行独立的率调优。
• 该方法可无缝集成到现有训练流程中，支持剪枝后的端到端微调。
• 基于注意力的度量源自特征图激活，用于对通道进行排序并移除重要性较低的通道。

实验结果

研究问题

• RQ1 注意力统计能否有效用于评估深度神经网络中通道的重要性？
• RQ2 能否在整个网络中统一使用单一全局压缩率，实现高效且准确的剪枝？
• RQ3 所提方法是否能在保持基准数据集高准确率的前提下，显著减少模型参数和FLOPs？
• RQ4 与传统通道剪枝技术相比，该方法在压缩效率和准确率保留方面表现如何？

主要发现

• PCAS在CIFAR-10上的ResNet-50模型中实现了90.8%的模型参数减少，仅造成1%的准确率下降。
• 该方法在保持CIFAR-10基准上具有竞争力的性能的同时，将FLOPs减少了79.4%。
• 采用单一全局压缩率简化了剪枝流程，并降低了调优开销。
• 基于注意力的度量能有效识别冗余通道，实现高比例压缩且准确率退化最小。