[论文解读] Structural Compression of Convolutional Neural Networks

Reza Abbasi-Asl, Bin Yu|arXiv (Cornell University)|May 20, 2017

Adversarial Robustness in Machine Learning参考文献 38被引用 22

一句话总结

本文提出CAR（Classification Accuracy Reduction），一种基于分类准确率贡献度的贪心结构化压缩方法，通过剪枝卷积滤波器来显著减小模型尺寸，同时保持性能。该方法通过移除功能冗余的滤波器（如基于颜色的滤波器）使CNN更具可解释性，表明压缩后的网络仍保留滤波器多样性，并可通过视觉和类别分析实现人类可理解性。

ABSTRACT

Deep convolutional neural networks (CNNs) have been successful in many tasks in machine vision, however, millions of weights in the form of thousands of convolutional filters in CNNs makes them difficult for human intepretation or understanding in science. In this article, we introduce CAR, a greedy structural compression scheme to obtain smaller and more interpretable CNNs, while achieving close to original accuracy. The compression is based on pruning filters with the least contribution to the classification accuracy. We demonstrate the interpretability of CAR-compressed CNNs by showing that our algorithm prunes filters with visually redundant functionalities such as color filters. These compressed networks are easier to interpret because they retain the filter diversity of uncompressed networks with order of magnitude less filters. Finally, a variant of CAR is introduced to quantify the importance of each image category to each CNN filter. Specifically, the most and the least important class labels are shown to be meaningful interpretations of each filter.

研究动机与目标

• 开发一种结构化压缩方案，以减少CNN中滤波器数量，同时保持高分类准确率。
• 通过移除功能冗余的滤波器（如基于颜色或视觉冗余的滤波器）来提升CNN的可解释性。
• 通过保留滤波器多样性并支持滤波器选择性的可视化，实现人类对模型决策的理解。
• 使用CAR指数的变体量化每类图像中滤波器的重要性，为滤波器行为提供可解释的洞察。
• 证明滤波器剪枝比激活值或权重剪枝更具可解释性，尤其适用于科学和医学应用。

提出的方法

• 提出CAR（Classification Accuracy Reduction），一种基于分类准确率贡献度的贪心滤波器剪枝算法，按滤波器对准确率的贡献度进行排序。
• 通过前向传播计算移除每个滤波器后top-1准确率的下降量，选择影响最小的滤波器进行剪枝。
• 采用两阶段压缩：首先使用CAR剪枝减少滤波器数量，然后使用Deep Compression进行量化和权重剪枝。
• 引入$CAR^{c}$，一种变体指标，用于衡量移除某个滤波器时对各类图像分类准确率的影响，实现针对特定类别的滤波器重要性分析。
• 通过最高激活图像块可视化滤波器选择性，并将其与高/低$CAR^{c}$类别相关联，以验证可解释性。
• 采用系统化的剪枝流程，避免从头开始训练，利用预训练模型实现高效压缩。

实验结果

研究问题

• RQ1 基于准确率贡献度的贪心滤波器剪枝方法能否生成紧凑且可解释的CNN？
• RQ2 压缩后的CNN中，剪枝后的滤波器是否仍保留有意义且多样的功能，还是趋于冗余？
• RQ3 每个滤波器的重要性是否能通过其对特定图像类别的影响进行有意义的解释？
• RQ4 与权重级别的压缩相比，通过滤波器剪枝实现的结构化压缩在可解释性和性能方面表现如何？
• RQ5 $CAR^{c}$指数是否能在不同图像类别中提供一致且可解释的滤波器行为洞察？

主要发现

• CAR剪枝在AlexNet上实现了8至21倍的压缩比，且准确率损失极小，证明了其在结构化压缩中的高效性。
• 剪枝后的滤波器被发现具有视觉冗余性，尤其是基于颜色的滤波器，表明形状特征对ImageNet类别更为关键。
• 压缩网络中的滤波器保留了多样的功能，尽管滤波器数量显著减少，但原始模型的可解释性得以保持。
• $CAR^{c}$指数与视觉模式选择性表现出强一致性：对特定类别具有高$CAR^{c}$的滤波器，会在包含相似模式（如椭圆形或鸟头）的图像块上被激活。
• 在某些情况下，压缩后的网络性能优于原始网络，负的CAR值表明剪枝后准确率反而提升，暗示去除了噪声或冗余滤波器。
• 该方法通过将滤波器行为与特定图像类别关联，实现了后处理可解释性，为理解滤波器在分类中的作用提供了有意义的途径。