[论文解读] Revisiting Random Channel Pruning for Neural Network Compression

Yawei Li, Kamil Adamczewski+4 more|arXiv (Cornell University)|May 11, 2022

Domain Adaptation and Few-Shot Learning被引用 7

一句话总结

本文重新审视随机通道剪枝作为神经网络压缩的一种简单而有效的基线方法，表明在通道配置上进行随机搜索通常优于或至少可与复杂剪枝方法相媲美。令人惊讶的是，L1/L2范数准则的表现与先进的重要性度量相当，且即使在无预训练权重的情况下，随机剪枝也能实现接近最优的性能，这凸显了在基准测试中采用标准化微调协议的必要性。

ABSTRACT

Channel (or 3D filter) pruning serves as an effective way to accelerate the inference of neural networks. There has been a flurry of algorithms that try to solve this practical problem, each being claimed effective in some ways. Yet, a benchmark to compare those algorithms directly is lacking, mainly due to the complexity of the algorithms and some custom settings such as the particular network configuration or training procedure. A fair benchmark is important for the further development of channel pruning. Meanwhile, recent investigations reveal that the channel configurations discovered by pruning algorithms are at least as important as the pre-trained weights. This gives channel pruning a new role, namely searching the optimal channel configuration. In this paper, we try to determine the channel configuration of the pruned models by random search. The proposed approach provides a new way to compare different methods, namely how well they behave compared with random pruning. We show that this simple strategy works quite well compared with other channel pruning methods. We also show that under this setting, there are surprisingly no clear winners among different channel importance evaluation methods, which then may tilt the research efforts into advanced channel configuration searching methods.

研究动机与目标

• 评估随机通道剪枝作为比较先进剪枝方法基线的有效性。
• 研究在通道配置上进行随机搜索是否能优于或匹配最先进剪枝算法。
• 评估微调周期数和剪枝准则对剪枝后模型性能的影响。
• 挑战复杂重要性度量对于有效剪枝是必要的假设。
• 倡导在未来的通道剪枝方法基准测试中采用标准化的微调协议。

提出的方法

• 通过独立地为每层选择通道数，随机采样一组子网络，将剪枝视为在架构空间中的搜索。
• 对于预训练模型，使用多种通道重要性准则（如L1、L2、SNIP、Grad-CAM）进行随机剪枝，并在验证集上评估性能。
• 对于从零开始的剪枝，训练并剪枝随机初始化的网络，通过重新参数化架构以支持端到端训练与剪枝。
• 使用缩减的验证子集（如5,000个样本）以降低随机搜索期间的评估成本。
• 在不同方法间标准化微调周期数，以实现公平比较，强调其对最终准确率的显著影响。
• 在一致设置下，于CIFAR-10、ImageNet数据集和ResNet-18、ResNet-50等网络架构上进行比较。

实验结果

研究问题

• RQ1 在公平比较条件下，随机通道剪枝是否优于或可与最先进剪枝算法相媲美？
• RQ2 在相同的随机剪枝制度下，不同通道重要性准则（如L1、L2、SNIP）的表现如何比较？
• RQ3 微调周期数在多大程度上影响剪枝模型的性能？
• RQ4 从零开始的随机剪枝能否实现与预训练模型剪枝相当的性能？
• RQ5 随机剪枝与MetaPruning或HRank等先进神经架构搜索方法相比如何？

主要发现

• 在CIFAR-10上，随机剪枝的表现不劣于任何对比的剪枝方法，表明其可作为更简单基准的强基线。
• 在ImageNet上，随机剪枝在更少的微调周期和更高的剪枝率下优于SFP、GAL和SSS等早期方法。
• 尽管微调周期更少且剩余模型更大，随机剪枝仍能实现与HRank相当的性能，表明其具有强大的泛化能力。
• 即使在更长的微调周期和架构调整下，MetaPruning仅略微优于随机剪枝，表明复杂方法的收益递减。
• 剪枝模型的性能对微调周期极为敏感：将微调周期从25增加到100，ResNet-50的Top-1错误率降低0.75%。
• 增加随机采样数量（从20增至1,000）带来的性能增益呈单调递减趋势，表明收益递减且未饱和，这提示需要更高效的搜索策略。