[论文解读] Rate Distortion For Model Compression: From Theory To Practice

Weihao Gao, Yuhan Liu+2 more|arXiv (Cornell University)|Oct 9, 2018

Advanced Neural Network Applications参考文献 31被引用 10

一句话总结

本文提出了一种基于率失真理论的神经网络模型压缩框架，引入了一种新颖的目标函数，通过整合梯度和海森矩阵信息，提升了剪枝与量化效果。该方法在单隐藏层ReLU网络上证明了最优性，并在MNIST和CIFAR数据集上展示了更优的压缩-精度权衡。

ABSTRACT

The enormous size of modern deep neural networks makes it challenging to deploy those models in memory and communication limited scenarios. Thus, compressing a trained model without a significant loss in performance has become an increasingly important task. Tremendous advances has been made recently, where the main technical building blocks are parameter pruning, parameter sharing (quantization), and low-rank factorization. In this paper, we propose principled approaches to improve upon the common heuristics used in those building blocks, namely pruning and quantization. We first study the fundamental limit for model compression via the rate distortion theory. We bring the rate distortion function from data compression to model compression to quantify this fundamental limit. We prove a lower bound for the rate distortion function and prove its achievability for linear models. Although this achievable compression scheme is intractable in practice, this analysis motivates a novel model compression framework. This framework provides a new objective function in model compression, which can be applied together with other classes of model compressor such as pruning or quantization. Theoretically, we prove that the proposed scheme is optimal for compressing one-hidden-layer ReLU neural networks. Empirically, we show that the proposed scheme improves upon the baseline in the compression-accuracy tradeoff.

研究动机与目标

• 建立使用率失真理论进行模型压缩的基本理论极限。
• 开发一种系统化的目标函数用于模型压缩，以超越剪枝和量化等启发式方法。
• 证明所提出的对象函数在单隐藏层ReLU神经网络上的最优性。
• 在真实世界模型上实证验证所提方法，展示其在压缩-精度权衡上的改进。
• 弥合深度学习中理论极限与实际压缩技术之间的差距。

提出的方法

• 将模型压缩形式化为率失真问题，其中率表示表示模型权重所需的比特数，失真表示原始模型与压缩模型之间期望损失的差异。
• 推导率失真函数的下界，并通过最优量化与编码策略，证明其在模型上的可实现性。
• 提出一种基于损失函数二阶近似的权重重要性矩阵，整合了梯度与海森矩阵项。
• 将梯度 + 海森矩阵目标作为剪枝与量化任务的监督准则，以最小化期望平方损失差异。
• 采用贪心剪枝与交替最小化策略进行量化，由所提出的权重重要性度量引导。
• 将新目标函数无缝集成到现有压缩流水线中，无需微调，实现即插即用的性能提升。

实验结果

研究问题

• RQ1 在率与失真方面，模型压缩的基本理论极限是什么？
• RQ2 率失真函数是否能在神经网络压缩中实际实现？
• RQ3 如何利用率失真理论设计更优的剪枝与量化算法？
• RQ4 所提出的目标函数是否对单隐藏层ReLU网络最优？
• RQ5 所提方法是否改善了真实世界深度学习模型中的压缩-精度权衡？

主要发现

• 证明了率失真函数的下界，并通过最优编码与量化策略，展示了其在模型上的可实现性。
• 所提出的梯度 + 海森矩阵目标在剪枝与量化实验中均优于基线、仅梯度和仅海森矩阵的目标。
• 在MNIST的全连接网络上，所提方法在等效压缩比下实现了更高的测试准确率。
• 在CIFAR-10的卷积网络上，该方法在更高压缩比下保持了更高的准确率，展现出跨架构的鲁棒性。
• 当剪枝与量化由所提目标引导时，该方法在单隐藏层ReLU网络上具有理论最优性。
• 实证结果表明，该方法在多个数据集与网络类型上均表现出一致的性能提升，验证了理论驱动方法的实际有效性。