[论文解读] REPrune: Filter Pruning via Representative Election

Min-Cheol Park, Woojeong Kim+1 more|arXiv (Cornell University)|Jul 14, 2020

Internet Traffic Analysis and Secure E-voting参考文献 39被引用 4

一句话总结

REPrune 提出了一种新颖的滤波器剪枝方法，通过聚类而非基于范数的标准来选择代表性滤波器，从而在模型压缩和准确率恢复方面实现提升。通过使用层次聚类和轮廓系数识别信息丰富的滤波器，REPrune 在 CIFAR-10 上对 ResNet-110 实现了超过 49% 的 FLOPs 减少，并获得 0.53% 的准确率增益；在 ImageNet 上对 ResNet-18 实现了 41.8% 的 FLOPs 减少，Top-1 损失降低 1.67%。

ABSTRACT

Even though norm-based filter pruning methods are widely accepted, it is questionable whether the "smaller-norm-less-important" criterion is optimal in determining filters to prune. Especially when we can keep only a small fraction of the original filters, it is more crucial to choose the filters that can best represent the whole filters regardless of norm values. Our novel pruning method entitled "REPrune" addresses this problem by selecting representative filters via clustering. By selecting one filter from a cluster of similar filters and avoiding selecting adjacent large filters, REPrune can achieve a better compression rate with similar accuracy. Our method also recovers the accuracy more rapidly and requires a smaller shift of filters during fine-tuning. Empirically, REPrune reduces more than 49% FLOPs, with 0.53% accuracy gain on ResNet-110 for CIFAR-10. Also, REPrune reduces more than 41.8% FLOPs with 1.67% Top-1 validation loss on ResNet-18 for ImageNet.

研究动机与目标

• 解决基于范数的滤波器剪枝方法的局限性，该方法假设较小的范数意味着较低的重要性，尤其在高剪枝比例下表现不佳。
• 通过选择最能代表每层滤波器分布的滤波器，提升模型压缩效果与准确率保持能力。
• 通过保留与原始模型具有结构相似性的滤波器，减少微调过程中滤波器权重的偏移。
• 通过选择高质量、具有代表性的滤波器，实现微调过程中验证准确率更快收敛。
• 在极端剪枝约束下，验证方法在高度优化模型（如 ResNet）上的有效性。

提出的方法

• 在每个卷积层内，基于滤波器的特征相似性，应用层次聚类对滤波器进行分组。
• 使用轮廓系数评估聚类质量，并识别每个聚类中最具代表性的滤波器。
• 选择距离聚类中心最近的滤波器作为代表性滤波器，以确保其最能捕捉聚类的分布特征。
• 通过在不同聚类间强制选择代表的多样性，避免选择相邻的大范数滤波器。
• 按层进行动态剪枝，保留高层特征图中计算成本最高的层中的更多滤波器。
• 通过原始滤波器与剪枝后滤波器之间的余弦相似度较高，对剪枝后的模型进行微调，从而实现最小的权重偏移。

实验结果

研究问题

• RQ1 在极端剪枝比例下，基于分布相似性的滤波器选择是否能优于基于范数的标准？
• RQ2 通过聚类选择代表性滤波器是否能实现比基于范数的方法更快的微调准确率恢复？
• RQ3 在使用分布感知剪枝时，微调前后滤波器之间的余弦相似度在多大程度上保持较高水平？
• RQ4 在 CIFAR-10 和 ImageNet 等标准基准上，REPrune 在 FLOPs 减少与准确率保持方面的表现如何？
• RQ5 在极端剪枝条件下，REPrune 是否能保持高度优化架构（如 ResNet）的模型性能？

主要发现

• 在 CIFAR-10 的 ResNet-110 上，REPrune 实现了超过 49% 的 FLOPs 减少，同时相比原始模型获得 0.53% 的准确率增益。
• 在 ImageNet 的 ResNet-18 上，REPrune 实现了 41.8% 的 FLOPs 减少，并将 Top-1 验证损失降低 1.67%。
• 使用 REPrune 的剪枝模型在微调过程中验证准确率恢复速度是基于范数方法的 4 倍，仅用 10 个周期即可达到其他方法需 40 个周期才能实现的性能。
• 与 SFP 和 FPGM 相比，REPrune 中微调前后滤波器之间的余弦相似度显著更高（平均约 0.4–0.6），而 SFP 和 FPGM 在 -0.1 到 0.1 范围内的相似度超过 70%。
• REPrune 在各层保持了蓝色调的余弦相似度热力图，表明滤波器方向保持一致，而基于范数的方法则呈现白/红色模式。
• 在 CIFAR-100 的 ResNet-56 上，即使参数减少 83.3%，REPrune 仍实现了高达 8.84 倍的推理加速，且仅导致 2.6% 的准确率下降。