[论文解读] Scalable Model Compression by Entropy Penalized Reparameterization

Deniz Oktay, Johannes Ballé+2 more|arXiv (Cornell University)|Jun 15, 2019

Advanced Image and Video Retrieval Techniques参考文献 35被引用 8

一句话总结

该论文提出了一种可扩展的、端到端的模型压缩方法，通过将神经网络权重重参数化到潜在空间，应用熵正则化的标量量化，并使用算术编码进行压缩。该方法在 MNIST、CIFAR-10 和 ImageNet 上使用 ResNet-50 时实现了最先进（SOTA）的压缩性能，仅需单一训练阶段，无需复杂的多阶段流程。

ABSTRACT

We describe a simple and general neural network weight compression approach, in which the network parameters (weights and biases) are represented in a "latent" space, amounting to a reparameterization. This space is equipped with a learned probability model, which is used to impose an entropy penalty on the parameter representation during training, and to compress the representation using a simple arithmetic coder after training. Classification accuracy and model compressibility is maximized jointly, with the bitrate--accuracy trade-off specified by a hyperparameter. We evaluate the method on the MNIST, CIFAR-10 and ImageNet classification benchmarks using six distinct model architectures. Our results show that state-of-the-art model compression can be achieved in a scalable and general way without requiring complex procedures such as multi-stage training.

研究动机与目标

• 开发一种简单、通用且可扩展的神经网络权重压缩方法，无需多阶段训练或复杂流程。
• 通过在学习到的潜在空间中引入熵惩罚，联合优化模型准确率与可压缩性。
• 通过高效地对量化参数进行算术编码，实现在保持分类准确率的同时实现高压缩比。
• 证明复杂技术如剪枝、稀疏化或自适应编码并非实现最先进压缩性能的必要条件。
• 提供免版税、公开可用的实现，适用于大规模模型如 ResNet-50。

提出的方法

• 使用可微变换将模型权重重参数化到学习到的潜在空间，以增强表示灵活性。
• 在潜在空间中应用标量量化，以高效离散化参数，实现可处理的熵建模。
• 在训练过程中引入熵惩罚，以鼓励低比特率表示，同时保持高准确率。
• 利用对潜在表示的概率模型来指导熵编码，最小化比特率。
• 训练完成后，使用算术编码压缩量化后的潜在表示，借助学习到的概率模型实现最优压缩。
• 在单一阶段内端到端训练整个系统，通过超参数控制的权衡，联合优化准确率与压缩大小。

实验结果

研究问题

• RQ1 是否能够通过单阶段、可端到端训练的框架，在无需多阶段训练或复杂流程的情况下实现最先进模型压缩？
• RQ2 与直接在原始参数空间中进行量化相比，将权重重参数化到学习到的潜在空间是否能提升标量量化的灵活性与效率？
• RQ3 在潜在空间中引入熵正则化，能在多大程度上在不同架构和数据集上平衡模型准确率与压缩大小？
• RQ4 该方法是否能有效扩展到 ImageNet 上的大型模型如 ResNet-50，同时保持高效率的压缩性能？
• RQ5 是否可能在不依赖剪枝、稀疏化或上下文自适应编码等技术的情况下，实现更优的压缩性能？

主要发现

• 该方法在 MNIST、CIFAR-10 和 ImageNet 上实现了最先进模型压缩性能，优于使用多阶段训练或复杂流程的先前方法。
• 在 ImageNet 上使用 ResNet-50 时，该方法在保持高精度的同时实现了高压缩比，证明了其在大型模型上的可扩展性。
• 与 [11] 等方法相比，后者采用四阶段训练和预设量化，该方法在更低比特率下实现了更高的准确率。
• 在潜在空间中使用学习到的概率模型可实现更高效的熵编码，相比朴素量化或固定分布编码，显著降低了比特率。
• 该方法仅需单一训练阶段，且兼容任何神经网络架构，具有广泛适用性。
• 该方法免版税且公开可用，代码通过 TensorFlow Compression 提供，增强了实际可用性。