[论文解读] Resiliency of Deep Neural Networks under Quantization

Wonyong Sung, Sungho Shin+1 more|arXiv (Cornell University)|Nov 20, 2015

Advanced Neural Network Applications参考文献 15被引用 146

一句话总结

本文通过微调研究了深度神经网络（DNNs）在极端权重量化下的鲁棒性，表明高度复杂的DNN在使用三值权重（+1, 0, -1）或2位量化时仍能保持高准确率，而简单网络则出现显著性能下降。关键贡献在于提出了有效压缩比（ECR）指标，以在资源受限条件下指导硬件高效的DNN设计。

ABSTRACT

The complexity of deep neural network algorithms for hardware implementation can be much lowered by optimizing the word-length of weights and signals. Direct quantization of floating-point weights, however, does not show good performance when the number of bits assigned is small. Retraining of quantized networks has been developed to relieve this problem. In this work, the effects of retraining are analyzed for a feedforward deep neural network (FFDNN) and a convolutional neural network (CNN). The network complexity is controlled to know their effects on the resiliency of quantized networks by retraining. The complexity of the FFDNN is controlled by varying the unit size in each hidden layer and the number of layers, while that of the CNN is done by modifying the feature map configuration. We find that the performance gap between the floating-point and the retrain-based ternary (+1, 0, -1) weight neural networks exists with a fair amount in 'complexity limited' networks, but the discrepancy almost vanishes in fully complex networks whose capability is limited by the training data, rather than by the number of connections. This research shows that highly complex DNNs have the capability of absorbing the effects of severe weight quantization through retraining, but connection limited networks are less resilient. This paper also presents the effective compression ratio to guide the trade-off between the network size and the precision when the hardware resource is limited.

研究动机与目标

• 理解网络复杂度如何影响低精度权重表示下浮点DNN与量化DNN之间的性能差距。
• 评估微调在极端量化（如三值或2位权重）后恢复性能的有效性。
• 开发一种度量指标——有效压缩比（ECR），以实现对高度量化大模型与适度量化小模型之间的公平比较。
• 在计算与内存资源受限时，为硬件高效DNN提供设计指导。
• 探究大DNN中的冗余是否使其比紧凑网络更能抵御量化噪声。

提出的方法

• 在TIMIT和CIFAR-10数据集上，对前馈DNN（FFDNN）进行语音音素识别和卷积神经网络（CNN）进行图像分类的受控实验。
• 通过调整隐藏单元数、层数和特征图配置来调节网络复杂度，以模拟不同模型容量水平。
• 应用基于微调的量化方法：先将训练好的浮点权重量化为三值（+1, 0, -1）或3位级别，然后通过反向传播对网络进行微调。
• 定义并计算有效压缩比（ECR），即有效未压缩大小（32位浮点等效）与压缩大小（量化权重）的比值。
• 利用ECR比较模型大小与精度之间的权衡，识别出在内存效率方面最优的配置。
• 分析不同量化位宽（2位、3位、5位、6位）和网络大小下的性能表现，以评估对量化敏感性的鲁棒性。

实验结果

研究问题

• RQ1 网络复杂度在多大程度上影响浮点DNN与量化DNN之间的性能差距？
• RQ2 微调在极端权重量化（如三值或2位权重）后，能在多大程度上恢复准确率？
• RQ3 在实现高准确率且内存使用最少的前提下，网络大小与权重精度之间应如何权衡？
• RQ4 在相同准确率水平下，高度量化但更大的网络是否能在内存效率上超越更小但精度更高的网络？
• RQ5 大DNN中的冗余是否使其在抵御量化噪声方面优于紧凑网络？

主要发现

• 在大型复杂网络中，浮点DNN与微调后三值权重DNN之间的性能差距几乎消失，这类网络的准确率受限于训练数据而非模型容量。
• 隐藏单元数、特征图或层数减少的紧凑网络在量化后表现出显著性能下降，表明其对精度损失的鲁棒性较低。
• 微调后，2位量化实现了最佳的有效压缩比（ECR），在相同准确率下优于更高精度的配置。
• 对于直接量化（无微调），5位精度的ECR表现最佳；但微调使2位量化在效率上超越所有其他配置。
• 在最大层大小（1,024个单元）下，微调后6位量化表现最佳，表明在已足够大的模型中进一步提高精度的收益递减。
• 有效压缩比（ECR）指标成功识别出：在相同准确率水平下，更大且极度量化的网络比更小但更高精度的网络更具内存效率。