[论文解读] Network Pruning using Adaptive Exemplar Filters

Mingbao Lin, Rongrong Ji+5 more|arXiv (Cornell University)|Jan 20, 2021

Advanced Neural Network Applications参考文献 55被引用 4

一句话总结

EPruner 提出了一种数据无关、CPU 高效的滤波器剪枝方法，通过在权重矩阵上使用亲和传播（Affinity Propagation）自适应地选择范例滤波器。该方法无需人工设计规则或昂贵的微调，即可自动识别有信息量的滤波器。在 VGGNet-16 上实现了高达 76.34% 的 FLOPs 减少，准确率提升 0.06%，在 ResNet-152 上实现了 65.12% 的 FLOPs 减少，仅导致 0.71% 的 top-5 准确率下降。

ABSTRACT

Popular network pruning algorithms reduce redundant information by optimizing hand-crafted models, and may cause suboptimal performance and long time in selecting filters. We innovatively introduce adaptive exemplar filters to simplify the algorithm design, resulting in an automatic and efficient pruning approach called EPruner. Inspired by the face recognition community, we use a message passing algorithm Affinity Propagation on the weight matrices to obtain an adaptive number of exemplars, which then act as the preserved filters. EPruner breaks the dependency on the training data in determining the "important" filters and allows the CPU implementation in seconds, an order of magnitude faster than GPU based SOTAs. Moreover, we show that the weights of exemplars provide a better initialization for the fine-tuning. On VGGNet-16, EPruner achieves a 76.34%-FLOPs reduction by removing 88.80% parameters, with 0.06% accuracy improvement on CIFAR-10. In ResNet-152, EPruner achieves a 65.12%-FLOPs reduction by removing 64.18% parameters, with only 0.71% top-5 accuracy loss on ILSVRC-2012. Our code can be available at https://github.com/lmbxmu/EPruner.

研究动机与目标

• 消除结构化滤波器剪枝中对手动设计规则和数据依赖性搜索的依赖。
• 通过仅使用 CPU 计算，将剪枝时间从基于 GPU 的 SOTA 方法的数小时缩短至秒级。
• 提出一种稳健且自适应的方法，用于选择最具信息量的滤波器，无需微调或超参数调优。
• 通过继承范例滤波器权重，为微调提供更好的初始化。
• 实现在多种 CNN 架构上高效、自动且可扩展的模型压缩。

提出的方法

• 将卷积层中的每个滤波器视为相似性图中一个高维数据点。
• 在权重矩阵上应用亲和传播消息传递算法，以自适应方式识别范例，无需人工设定阈值。
• 由算法自身决定范例数量，从而消除对手动指定剪枝比例的需求。
• 仅保留范例滤波器及其对应通道，其余全部丢弃。
• 将范例滤波器的权重作为微调的初始化，以利用其预训练的表征能力。
• 在 CPU 上完整实现剪枝流程，实现架构选择的亚秒级推理时间。

实验结果

研究问题

• RQ1 一种数据无关、自动的方法能否在无需人工设计规则的情况下，识别出应保留的最优滤波器数量？
• RQ2 亲和传播算法能否有效从预训练的 CNN 中选择出高影响力滤波器，用于结构化剪枝？
• RQ3 使用范例滤波器权重作为初始化，是否能带来优于随机初始化或 ℓ₁-范数初始化的微调性能？
• RQ4 能否在 CPU 上将剪枝过程加速至秒级，同时保持或提升准确率？
• RQ5 该方法在不同网络架构和数据集上的可扩展性如何？

主要发现

• 在 CIFAR-10 上的 VGGNet-16 上，EPruner 通过移除 88.80% 的参数，实现了 76.34% 的 FLOPs 减少，且准确率相比原始模型提升了 0.06%。
• 在 ImageNet-ILSVRC-2012 上的 ResNet-152 上，EPruner 实现了 65.12% 的 FLOPs 减少和 64.18% 的参数减少，仅导致 0.71% 的 top-5 准确率下降。
• 对于 ResNet-152，EPruner 在 CPU 上的架构选择时间不足 13 秒，而使用 ABCPruner 在 GPU 上则超过 75,000 秒。
• EPruner 的基于范例的初始化在微调中始终优于随机初始化和 ℓ₁-范数初始化，表现出更优的预热质量。
• 在稳定范围 β ∈ [0.72, 0.73] 内，超参数 β 的影响极小，使得剪枝过程可靠且可预测，无需大量调优。
• 该方法在多种架构（VGG、ResNet、GoogLeNet）和数据集上均表现出鲁棒性，持续实现性能与效率的提升。