[论文解读] Retraining-Based Iterative Weight Quantization for Deep Neural Networks

Dongsoo Lee, Byeongwook Kim|arXiv (Cornell University)|May 29, 2018

Advanced Neural Network Applications参考文献 21被引用 12

一句话总结

本文提出了一种基于迭代微调的权重量化方法，可在不损失精度的情况下实现LSTM模型在PTB数据集上的1-bit量化。通过在每次量化步骤后使用高精度权重反复微调模型，该方法降低了量化误差并找到了更平坦的极小值，从而在实现高倍率压缩的同时将精度损失降至最低，尤其在结合剪枝技术时效果更佳。

ABSTRACT

Model compression has gained a lot of attention due to its ability to reduce hardware resource requirements significantly while maintaining accuracy of DNNs. Model compression is especially useful for memory-intensive recurrent neural networks because smaller memory footprint is crucial not only for reducing storage requirement but also for fast inference operations. Quantization is known to be an effective model compression method and researchers are interested in minimizing the number of bits to represent parameters. In this work, we introduce an iterative technique to apply quantization, presenting high compression ratio without any modifications to the training algorithm. In the proposed technique, weight quantization is followed by retraining the model with full precision weights. We show that iterative retraining generates new sets of weights which can be quantized with decreasing quantization loss at each iteration. We also show that quantization is efficiently able to leverage pruning, another effective model compression method. Implementation issues on combining the two methods are also addressed. Our experimental results demonstrate that an LSTM model using 1-bit quantized weights is sufficient for PTB dataset without any accuracy degradation while previous methods demand at least 2-4 bits for quantized weights.

研究动机与目标

• 在不修改训练过程的前提下，减少深度神经网络权重量化所需的比特数。
• 解决在内存密集型RNN（如LSTM）中因激进量化导致的精度下降问题。
• 通过迭代微调提升量化质量，最小化高精度权重与量化后权重之间的均方误差（MSE）。
• 探索剪枝与迭代量化相结合的协同效应，以实现更高的压缩率和更好的精度。
• 证明1-bit量化可在语言建模等序列建模任务中达到全精度模型的性能。

提出的方法

• 该方法采用迭代量化：在将权重量化为低比特表示后，使用高精度权重对模型进行微调，以优化解。
• 在每次迭代中，模型从当前量化权重重新开始训练，使其在损失曲面中收敛至更平坦的极小值。
• 量化过程采用贪心交替优化方法：对于k-bit量化，按顺序逐位优化，以最小化残差误差。
• 1-bit量化使用符号二值化，更高比特数则采用递归残差最小化，且每层独立调整缩放因子。
• 在量化前应用剪枝以减少参数数量，从而加速收敛并提升量化质量。
• 该框架避免修改原始训练算法，而是通过迭代微调逐步提升量化保真度。

实验结果

研究问题

• RQ1 使用高精度权重进行迭代微调是否能降低激进权重量化后的量化误差并提升模型精度？
• RQ2 将剪枝与迭代量化结合是否能加快收敛速度并降低比特宽度需求？
• RQ3 1-bit量化是否能在LSTM模型上实现语言建模任务（如PTB）中全精度模型的性能？
• RQ4 迭代微调如何影响损失曲面？是否导致更平坦的极小值，从而改善泛化能力？
• RQ5 在压缩率与精度之间，剪枝与迭代量化之间最优的协同关系是什么？

主要发现

• 在PTB小模型上，仅使用1-bit量化，该方法实现了113.426的测试困惑度，与全精度基线（115.111）完全一致。
• 对于PTB中等模型，经80%剪枝和21轮微调后，1-bit量化实现的测试困惑度为85.540。
• 在PTB大模型上，经85%剪枝后，1-bit量化实现的测试困惑度为80.308，接近全精度结果。
• 在Text8数据集上，该方法在6-bit量化下实现105.632的测试困惑度，优于基线交替方法在相同比特宽度下的105.972。
• 剪枝与迭代量化结合显著减少了所需微调轮数，并加速收敛，如图8所示的MSE衰减速度更快。
• 该方法表明，1-bit量化已足够在PTB上实现最先进性能，而以往方法至少需要2–4 bit。