[论文解读] Pruning at a Glance: Global Neural Pruning for Model Compression

Abdullah Salama, Oleksiy Ostapenko+2 more|arXiv (Cornell University)|Nov 30, 2019

Advanced Neural Network Applications参考文献 22被引用 7

一句话总结

本文提出一种全局、结构化的神经网络剪枝方法，通过基于全网络层的全局L1范数阈值移除整个卷积核和神经元，实现高精度压缩，且无准确率下降——在VGG-16、ResNet-56/110（CIFAR-10）以及AlexNet、ResNet-34/50（ImageNet）上均得到验证，包括一个压缩30%的ResNet-50模型，其性能甚至略微优于原始基线模型。

ABSTRACT

Deep Learning models have become the dominant approach in several areas due to their high performance. Unfortunately, the size and hence computational requirements of operating such models can be considerably high. Therefore, this constitutes a limitation for deployment on memory and battery constrained devices such as mobile phones or embedded systems. To address these limitations, we propose a novel and simple pruning method that compresses neural networks by removing entire filters and neurons according to a global threshold across the network without any pre-calculation of layer sensitivity. The resulting model is compact, non-sparse, with the same accuracy as the non-compressed model, and most importantly requires no special infrastructure for deployment. We prove the viability of our method by producing highly compressed models, namely VGG-16, ResNet-56, and ResNet-110 respectively on CIFAR10 without losing any performance compared to the baseline, as well as ResNet-34 and ResNet-50 on ImageNet without a significant loss of accuracy. We also provide a well-retrained 30% compressed ResNet-50 that slightly surpasses the base model accuracy. Additionally, compressing more than 56% and 97% of AlexNet and LeNet-5 respectively. Interestingly, the resulted models' pruning patterns are highly similar to the other methods using layer sensitivity pre-calculation step. Our method does not only exhibit good performance but what is more also easy to implement.

研究动机与目标

• 解决在内存和电池资源受限的设备（如智能手机和嵌入式系统）上部署大型深度学习模型的挑战。
• 克服现有剪枝方法依赖层特定敏感度分析或依赖非结构化稀疏性（需专用硬件）的局限性。
• 开发一种简单、高效且可部署的剪枝方法，生成紧凑的非稀疏模型，同时不损失准确率。
• 在多种架构（如VGG、ResNet、AlexNet）上实现高比例压缩，同时在微调后保持或甚至提升模型性能。

提出的方法

• 计算网络中所有层中每个卷积核的L1范数，以评估其重要性。
• 通过其卷积核权重数量对每个卷积核的L1范数进行归一化，确保在不同大小的卷积核之间实现公平比较。
• 将所有归一化后的卷积核范数聚合为全局分布，并对其进行排序，以确定全局剪枝阈值。
• 应用单一全局阈值，同时在所有层中剪除重要性最低的卷积核（及其关联神经元）。
• 采用迭代剪枝并结合微调，使网络能够适应高比例压缩，同时保持准确率。
• 通过同时移除整个卷积核和神经元实现结构化剪枝，从而生成非稀疏、无需特殊硬件即可部署的模型。

实验结果

研究问题

• RQ1 基于L1范数排序的全局、与层无关的剪枝策略是否能在不损失准确率的情况下实现高比例压缩？
• RQ2 与现有方法相比，消除对层敏感度预先计算的需求是否能提升剪枝效率和灵活性？
• RQ3 是否能通过在所有层中同时进行结构化剪枝，实现优于逐层或非结构化方法的压缩与准确率权衡？
• RQ4 在高比例压缩下，通过微调，全局剪枝在多大程度上能保持甚至提升模型性能？
• RQ5 在剪枝模式准确性和模型鲁棒性方面，全局卷积核重要性评分与层特定敏感度指标相比如何？

主要发现

• 所提方法在AlexNet上实现了56%的参数压缩，在LeNet-5上压缩超过97%，且无显著准确率损失。
• 在CIFAR-10上，VGG-16、ResNet-56和ResNet-110均实现了无准确率下降的压缩。
• 在ImageNet上，经过充分微调的30%压缩率ResNet-50模型，其性能甚至略微优于原始模型。
• 该方法生成高度压缩的非稀疏模型，无需专用硬件或软件即可部署。
• 剪枝模式与基于敏感度的方法高度相似，但剪枝率显著更高。
• 尽管移除了大量弱神经元，该方法仍促使剩余神经元产生更高激活，从而在高比例压缩下提升准确率。