[论文解读] SCSP: Spectral Clustering Filter Pruning with Soft Self-adaption Manners

Huiyuan Zhuo, Xuelin Qian+3 more|arXiv (Cornell University)|Jun 14, 2018

Video Surveillance and Tracking Methods参考文献 9被引用 32

一句话总结

该论文提出SCSP，一种用于CNN压缩的新型滤波器剪枝方法，通过谱聚类将冗余滤波器分组，并利用软自适应机制在微调过程中迭代剪枝重要性较低的组。该方法在LeNet-5上实现了高达18.13%的参数减少和6.42%的FLOPs减少，且准确率无损失，通过组级别剪枝和迭代滤波器更新保持了模型容量，达到最先进性能。

ABSTRACT

Deep Convolutional Neural Networks (CNN) has achieved significant success in computer vision field. However, the high computational cost of the deep complex models prevents the deployment on edge devices with limited memory and computational resource. In this paper, we proposed a novel filter pruning for convolutional neural networks compression, namely spectral clustering filter pruning with soft self-adaption manners (SCSP). We first apply spectral clustering on filters layer by layer to explore their intrinsic connections and only count on efficient groups. By self-adaption manners, the pruning operations can be done in few epochs to let the network gradually choose meaningful groups. According to this strategy, we not only achieve model compression while keeping considerable performance, but also find a novel angle to interpret the model compression process.

研究动机与目标

• 解决由于高计算和内存成本，导致深度CNN难以在资源受限的边缘设备上部署的挑战。
• 通过利用滤波器之间的内在相关性，克服现有滤波器剪枝方法将滤波器独立处理的局限性。
• 提出一种结构化剪枝方法，以保持特征组的一致性，并在微调过程中实现快速收敛。
• 通过基于谱聚类的滤波器分组，提供一种更具可解释性和有效性的模型压缩机制。

提出的方法

• 基于滤波器的特征相似性，逐层应用谱聚类对滤波器进行分组，将剪枝问题转化为图划分任务。
• 利用从滤波器相似性导出的拉普拉斯矩阵计算特征向量，再通过k-means聚类形成相关滤波器组。
• 基于基于权重的重要性评分对滤波器组进行重要性排序，并剪枝对最终输出影响较小的组。
• 通过在微调过程中迭代更新剪枝后的滤波器，实现软自适应机制，以维持模型准确率。
• 将剪枝过程整合到训练循环中，实现冗余滤波器组的渐进式、自适应移除。
• 利用滤波器的内在结构减少冗余，同时保留关键的特征表示。

实验结果

研究问题

• RQ1 谱聚类能否通过捕捉滤波器之间的内在结构关系，有效识别CNN层中的冗余滤波器组？
• RQ2 与单独剪枝滤波器相比，剪枝相关滤波器组是否能实现更优的模型压缩效果并减少准确率下降？
• RQ3 在微调过程中采用软自适应机制，能否有效恢复组剪枝后的性能，特别是在深层网络中？
• RQ4 与现有滤波器剪枝基线相比，该方法在参数减少、FLOPs减少和准确率保留方面表现如何？

主要发现

• 在LeNet-5上，当剪枝比率为0.4时，SCSP实现了18.13%的参数减少和6.42%的FLOPs减少，同时保持71.09%的测试准确率，优于CGES（其准确率损失1.04%）。
• 在ResNet-32上，SCSP实现了12.10%的参数剪枝和11.3%的FLOPs减少，准确率仅下降0.04%，表明在深层架构中的有效性。
• 通过谱聚类保持滤波器组相关性，该方法实现了更快的收敛速度和更好的泛化能力。
• 消融实验表明，最重要的滤波器集中在深层网络（如fc1），验证了该方法的可解释性及滤波器重要性排序的有效性。
• FLOPs和参数稀疏度曲线随着迭代更新和基于组的剪枝决策呈现渐进式下降，波动较小。
• 即使在显著剪枝后，该方法仍保持了模型容量，表明其具有强鲁棒性并能有效去除冗余。