[论文解读] Successive Pruning for Model Compression via Rate Distortion Theory.

Berivan Isik, Albert No+1 more|arXiv (Cornell University)|Feb 16, 2021

Advanced Neural Network Applications参考文献 44被引用 4

一句话总结

本文提出了一种新颖的模型压缩框架，通过基于率失真理论的逐次剪枝，联合优化网络稀疏性和熵编码以最小化模型大小。通过将剪枝视为率失真优化问题，该方法在 MNIST、CIFAR-10 和 ImageNet 上的五种架构中，使剪枝后的模型大小比现有方法小 2.5 倍。

ABSTRACT

Neural network (NN) compression has become essential to enable deploying over-parameterized NN models on resource-constrained devices. As a simple and easy-to-implement method, pruning is one of the most established NN compression techniques. Although it is a mature method with more than 30 years of history, there is still a lack of good understanding and systematic analysis of why pruning works well even with aggressive compression ratios. In this work, we answer this question by studying NN compression from an information-theoretic approach and show that rate distortion theory suggests pruning to achieve the theoretical limits of NN compression. Our derivation also provides an end-to-end compression pipeline involving a novel pruning strategy. That is, in addition to pruning the model, we also find a minimum-length binary representation of it via entropy coding. Our method consistently outperforms the existing pruning strategies and reduces the pruned model's size by 2.5 times. We evaluate the efficacy of our strategy on MNIST, CIFAR-10 and ImageNet datasets using 5 distinct architectures.

研究动机与目标

• 为了理解为何剪枝在高稀疏率下仍能有效工作，尽管其理论基础有限。
• 为了弥合实际剪枝性能与模型压缩理论极限之间的差距。
• 为了开发一种系统化、端到端的压缩流程，整合剪枝与熵编码。
• 为了在多种数据集和架构上实现最先进的模型大小压缩，同时保持准确率。

提出的方法

• 将神经网络压缩建模为率失真优化问题，其中率对应模型大小，失真对应准确率损失。
• 应用逐次剪枝，通过理论上的率失真权衡迭代移除低重要性权重。
• 通过熵编码实现剪枝后模型的最小长度二进制表示，以最小化率分量。
• 使用率失真目标的可微分近似来端到端训练剪枝策略。
• 将剪枝与熵编码整合到统一的压缩流程中，联合优化模型大小与准确率。
• 采用渐进式剪枝策略，在保持模型性能的同时最大化压缩效率。

实验结果

研究问题

• RQ1 为何剪枝在缺乏坚实理论基础的情况下，仍能在高稀疏率下实现极小的准确率损失？
• RQ2 率失真理论能否为理解与改进神经网络剪枝提供系统化的理论框架？
• RQ3 如何有效将熵编码集成到剪枝流程中，以最小化模型大小？
• RQ4 当同时优化稀疏性与表示效率时，模型压缩的理论极限是什么？
• RQ5 统一的、端到端的压缩框架能否超越现有的仅剪枝或启发式压缩方法？

主要发现

• 所提方法在所有评估的数据集和架构上，与现有剪枝策略相比，将剪枝后模型的大小减少了 2.5 倍。
• 剪枝与熵编码的结合显著减小了模型大小，远优于仅使用剪枝，凸显了表示效率的重要性。
• 率失真框架为剪枝为何在高稀疏率下表现良好提供了理论依据。
• 该方法在 MNIST、CIFAR-10 和 ImageNet 上保持了具有竞争力的准确率，表明高稀疏率不会损害性能。
• 基于率失真理论引导的逐次剪枝在模型大小压缩方面优于标准剪枝基线，且准确率损失可忽略。