[论文解读] SiPPing Neural Networks: Sensitivity-informed Provable Pruning of Neural Networks

Cenk Baykal, Lucas Liebenwein+3 more|arXiv (Cornell University)|Oct 11, 2019

Advanced Neural Network Applications参考文献 49被引用 15

一句话总结

该论文提出SiPP，一种可证明准确、基于数据的剪枝框架，通过基于敏感度的重要度采样来稀疏化神经网络，同时保持预测性能。通过利用小批量数据引导参数剪枝——采用自适应采样或确定性选择——SiPP实现了强大的理论保证，并在多种架构和剪枝流程（包括迭代式与一次性设置）中持续优于基线方法。

ABSTRACT

We introduce a pruning algorithm that provably sparsifies the parameters of a trained model in a way that approximately preserves the model's predictive accuracy. Our algorithm uses a small batch of input points to construct a data-informed importance sampling distribution over the network's parameters, and adaptively mixes a sampling-based and deterministic pruning procedure to discard redundant weights. Our pruning method is simultaneously computationally efficient, provably accurate, and broadly applicable to various network architectures and data distributions. Our empirical comparisons show that our algorithm reliably generates highly compressed networks that incur minimal loss in performance relative to that of the original network. We present experimental results that demonstrate our algorithm's potential to unearth essential network connections that can be trained successfully in isolation, which may be of independent interest.

研究动机与目标

• 解决现有基于数据的剪枝方法缺乏理论保证的问题，这些方法通常依赖启发式方法，且在剪枝后模型准确率缺乏正式边界。
• 开发一种剪枝框架，兼具计算效率，广泛适用于各类网络架构（FNNs、CNNs、RNNs），并无论网络训练状态如何，均能提供可证明的准确性。
• 建立深度神经网络的新压缩边界，可为泛化理论提供信息，并深入理解剪枝机制的内在原理。
• 通过确保在不同微调策略和初始化方案下性能一致，实现与标准剪枝-微调流程的可靠集成。
• 提供即插即用的解决方案，在低数据或一次性剪枝场景下仍能保持高准确率，而现有方法在这些场景下常会失效。

提出的方法

• 利用小批量输入数据构建网络参数上的数据驱动重要度采样分布，以量化每个权重对输出的贡献。
• 应用基于敏感度的度量标准对网络中每个参数（边）的重要性进行排序，重点关注每个权重对最终输出的影响程度。
• 采用混合剪枝策略，结合基于采样的剪枝与确定性剪枝：采样高重要度权重的子集，同时确定性地剪除低重要度权重。
• 优化神经元间的样本量分配，以最小化近似误差，同时保持计算效率和可证明的误差边界。
• 集成自适应稀疏化过程，根据局部敏感度动态调整剪枝强度，确保在不同网络状态下的鲁棒性。
• 推导出理论压缩边界，保证剪枝后网络的输出始终在原始模型的用户定义误差范围内，即使面对分布外输入也成立。

实验结果

研究问题

• RQ1 我们能否设计一种剪枝算法，在不依赖启发式假设的前提下，为剪枝后的模型准确率提供可证明的保证？
• RQ2 如何有效利用小批量数据构建重要度采样分布，使其真实反映参数对模型输出的敏感度？
• RQ3 与纯启发式或纯采样方法相比，混合采样-确定性剪枝策略在准确率和效率方面能提升多少？
• RQ4 SiPP的理论框架是否能泛化至不同架构（如FNNs、CNNs、RNNs）和剪枝流程（迭代式 vs. 一次性）？
• RQ5 SiPP的可证明性质是否能解释其在各种训练与微调制度下（包括随机初始化和最小微调）的稳定表现？

主要发现

• SiPP在多个架构和数据集上达到与SOTA方法（如Weight Transfer, WT）和SNIP相当的性能，涵盖CIFAR-10和ImageNet。
• 在CIFAR-10上，SiPP在高剪枝率（如90%稀疏度）下仍保持接近零的准确率下降（与原始模型相差不超过0.5%），在一次性剪枝设置中优于WT。
• 在ImageNet上，对于ResNet18和ResNet101，SiPP在90%剪枝率下实现的top-1测试准确率与原始模型相差不超过1.5%，证明了其在大模型上的可扩展性。
• 该方法在迭代式剪枝+微调和随机初始化+剪枝+训练流程中均表现稳定，表明对训练动态具有鲁棒性。
• 理论分析表明，SiPP可为压缩网络输出提供可证明的误差边界，即使在分布外输入下也成立。
• 该算法仅需两个超参数（δ和α），无需额外调参，使其在实际部署中简单可靠。