[论文解读] Pruning Deep Neural Networks from a Sparsity Perspective

Enmao Diao, Ganghua Wang+4 more|arXiv (Cornell University)|Feb 11, 2023

Neural Networks and Applications被引用 7

一句话总结

本文提出了PQ指数（PQI），一种满足六个理想稀疏性特性的新型稀疏性度量，用于量化神经网络的可压缩性。基于PQI，作者开发了稀疏性感知自适应剪枝（SAP）算法，该算法在迭代剪枝过程中动态调整剪枝比例。实验表明，与彩票剪枝等最先进方法相比，SAP在极端剪枝下仍能保持优异的压缩效率和鲁棒性。

ABSTRACT

In recent years, deep network pruning has attracted significant attention in order to enable the rapid deployment of AI into small devices with computation and memory constraints. Pruning is often achieved by dropping redundant weights, neurons, or layers of a deep network while attempting to retain a comparable test performance. Many deep pruning algorithms have been proposed with impressive empirical success. However, existing approaches lack a quantifiable measure to estimate the compressibility of a sub-network during each pruning iteration and thus may under-prune or over-prune the model. In this work, we propose PQ Index (PQI) to measure the potential compressibility of deep neural networks and use this to develop a Sparsity-informed Adaptive Pruning (SAP) algorithm. Our extensive experiments corroborate the hypothesis that for a generic pruning procedure, PQI decreases first when a large model is being effectively regularized and then increases when its compressibility reaches a limit that appears to correspond to the beginning of underfitting. Subsequently, PQI decreases again when the model collapse and significant deterioration in the performance of the model start to occur. Additionally, our experiments demonstrate that the proposed adaptive pruning algorithm with proper choice of hyper-parameters is superior to the iterative pruning algorithms such as the lottery ticket-based pruning methods, in terms of both compression efficiency and robustness.

研究动机与目标

• 为解决在剪枝迭代过程中缺乏可量化的子网络可压缩性估计方法的问题。
• 开发一种满足全部六个理想稀疏性特性的稀疏性度量，以实现可靠的可压缩性估计。
• 提出一种基于可压缩性自适应调整剪枝比例的新剪枝算法，以提升效率与鲁棒性。
• 通过实证验证假设：PQI动态变化能够反映剪枝过程中模型性能的趋势。
• 证明基于PQI的自适应剪枝优于固定比例剪枝方法，在压缩效率与准确率方面表现更优。

提出的方法

• 提出PQ指数（PQI），一种新型向量稀疏性度量，满足全部六个理想稀疏性特性（罗宾汉、缩放、涨潮、克隆、比尔·盖茨、婴儿）。
• 利用PQI在每次剪枝迭代中估计剪枝子网络的可压缩性，指导自适应剪枝决策。
• 开发了稀疏性感知自适应剪枝（SAP）算法，根据PQI趋势调整剪枝比例，避免剪枝不足或过度。
• 采用动态剪枝策略，剪枝比例由当前PQI值及其在迭代过程中的变化决定。
• 在不同剪枝范围（全局、神经元级、层级）上应用SAP，并在CIFAR-10数据集上使用CNN评估性能。
• 对超参数p、q、ηr和γ进行消融研究，以调节SAP的自适应行为并验证其鲁棒性。

实验结果

研究问题

• RQ1 一种满足全部六个理想特性的稀疏性度量是否能可靠估计剪枝神经网络的可压缩性？
• RQ2 PQI的动态变化是否反映了剪枝过程中模型性能的有意义变化？
• RQ3 基于PQI引导的自适应剪枝算法是否能在压缩效率和鲁棒性方面优于固定比例方法？
• RQ4 不同剪枝范围（全局、神经元级、层级）如何影响SAP算法的性能与稳定性？
• RQ5 在不同数据集与网络架构下，SAP算法的最优超参数配置（p、q、ηr、γ）是什么？

主要发现

• PQ指数（PQI）是首个满足全部六个理想特性的稀疏性度量，使其成为向量稀疏性理论上的可靠指标。
• PQI动态变化遵循假设模式：在有效正则化阶段先下降，进入欠拟合阶段时上升，模型崩溃阶段再次下降。
• 采用神经元级剪枝的SAP在压缩效率与鲁棒性方面优于“一次性剪枝”和“彩票剪枝”方法，尤其在剩余权重比例较低时表现更优。
• 剪枝模型的稀疏性在迭代剪枝过程中逐渐降低，PQI差异提供了剪枝按预期推进的合理性检验。
• 消融研究证实，超参数p和q控制剪枝的激进程度，当p ≈ q且q与p相距较远时性能最优。
• SAP性能呈现逻辑斯蒂衰减模式，曲线拐点与PQI峰值位置一致，验证了可压缩性动态变化的假设。