[论文解读] Toward Compact Deep Neural Networks via Energy-Aware Pruning

Seul-Ki Yeom, Kyung-Hwan Shim+1 more|arXiv (Cornell University)|Mar 19, 2021

Advanced Neural Network Applications参考文献 50被引用 8

一句话总结

本文提出一种基于核范数（NN）的能量感知滤波器剪枝方法，利用奇异值分解（SVD）高效量化能量贡献，识别并移除深度神经网络中最重要的滤波器。该方法在CIFAR-10和ImageNet上的多种网络架构中均实现了最先进性能，FLOPs降低高达76.7%，参数量减少68.6%，且精度损失极小。

ABSTRACT

Despite the remarkable performance, modern deep neural networks are inevitably accompanied by a significant amount of computational cost for learning and deployment, which may be incompatible with their usage on edge devices. Recent efforts to reduce these overheads involve pruning and decomposing the parameters of various layers without performance deterioration. Inspired by several decomposition studies, in this paper, we propose a novel energy-aware pruning method that quantifies the importance of each filter in the network using nuclear-norm (NN). Proposed energy-aware pruning leads to state-of-the-art performance for Top-1 accuracy, FLOPs, and parameter reduction across a wide range of scenarios with multiple network architectures on CIFAR-10 and ImageNet after fine-grained classification tasks. On toy experiment, without fine-tuning, we can visually observe that NN has a minute change in decision boundaries across classes and outperforms the previous popular criteria. We achieve competitive results with 40.4/49.8% of FLOPs and 45.9/52.9% of parameter reduction with 94.13/94.61% in the Top-1 accuracy with ResNet-56/110 on CIFAR-10, respectively. In addition, our observations are consistent for a variety of different pruning setting in terms of data size as well as data quality which can be emphasized in the stability of the acceleration and compression with negligible accuracy loss.

研究动机与目标

• 解决现代深度神经网络带来的高计算与存储成本问题，尤其针对边缘设备部署场景。
• 通过引入基于低秩逼近与滤波器分解的新型能量度量，克服现有剪枝准则的局限性。
• 开发一种稳定且对数据鲁棒的剪枝方法，适用于真实应用中常见的低数据量与低质量数据条件。
• 在多种架构与数据集上，实现精度、FLOPs与参数量减少方面的最先进压缩性能。

提出的方法

• 通过SVD计算每个卷积滤波器的核范数（奇异值之和），量化其能量贡献。
• 根据各层滤波器的核范数值进行排序，优先剪除能量最低的滤波器。
• 剪枝后应用微调以恢复精度，确保性能下降最小化。
• 采用全局剪枝比例策略，各层保持一致，实现系统性压缩。
• 利用低秩逼近与滤波器分解的洞察，将剪枝问题建模为能量守恒问题。
• 在多种架构（ResNet、DenseNet、GoogLeNet、VGG）与数据集（CIFAR-10、ImageNet）上应用该方法，验证其泛化能力。

实验结果

研究问题

• RQ1 基于核范数的能量量化是否可作为比现有方法更有效且更稳定的滤波器剪枝准则？
• RQ2 所提出的能量感知剪枝方法在多种网络架构与数据集上，于精度、FLOPs与参数量减少方面表现如何？
• RQ3 该方法在数据量与数据质量变化（如过度自信或不确定样本）下，其鲁棒性如何？
• RQ4 在激进压缩下，该方法能否实现最先进性能，同时保持高稳定性与极低精度损失？
• RQ5 在相似压缩比下，该能量感知剪枝方法是否比现有剪枝基线更好地保持模型性能？

主要发现

• 在CIFAR-10上，ResNet-56模型达到94.13% Top-1精度，FLOPs降低40.4%，参数量减少45.9%，优于先前方法。
• 在CIFAR-10上，ResNet-110模型保持94.61% Top-1精度，FLOPs降低49.8%，参数量减少52.9%。
• 在ImageNet上，ResNet-50模型实现FLOPs降低76.7%，参数量减少68.6%，Top-1精度保持72.28%，仅比基线下降0.89%。
• 在GoogLeNet上，该方法实现95.11% Top-1精度，FLOPs降低70.4%，参数量减少73.5%，相比HRank提升1.04%精度且参数更少。
• 消融实验表明，该方法在不同数据质量与数量下（包括少样本与迁移学习场景）均表现出高度稳定性。
• 在所有评估的架构与数据集上，该方法在精度、FLOPs与参数量减少方面均持续优于现有剪枝技术。