[论文解读] SinReQ: Generalized Sinusoidal Regularization for Low-Bitwidth Deep Quantized Training

Ahmed T. Elthakeb, Prannoy Pilligundla+1 more|arXiv (Cornell University)|May 4, 2019

Advanced Neural Network Applications参考文献 31被引用 5

一句话总结

本文提出SinReQ，一种可微分的正弦正则化技术，通过在训练过程中引导深度神经网络权重趋向量化级别，提升低比特宽度量化网络的准确率。通过在损失函数中添加周期性正则项，SinReQ增强了DoReFa和WRPN的量化训练，分别使准确率差距平均减少32.4%和27.5%。

ABSTRACT

Deep quantization of neural networks (below eight bits) offers significant promise in reducing their compute and storage cost. Albeit alluring, without special techniques for training and optimization, deep quantization results in significant accuracy loss. To further mitigate this loss, we propose a novel sinusoidal regularization, called SinReQ1, for deep quantized training. SinReQ adds a periodic term to the original objective function of the underlying training algorithm. SinReQ exploits the periodicity, differentiability, and the desired convexity profile in sinusoidal functions to automatically propel weights towards values that are inherently closer to quantization levels. Since, this technique does not require invasive changes to the training procedure, SinReQ can harmoniously enhance quantized training algorithms. SinReQ offers generality and flexibility as it is not limited to a certain bitwidth or a uniform assignment of bitwidths across layers. We carry out experimentation using the AlexNet, CIFAR-10, ResNet-18, ResNet-20, SVHN, and VGG-11 DNNs with three to five bits for quantization and show the versatility of SinReQ in enhancing multiple quantized training algorithms, DoReFa [32] and WRPN [24]. Averaging across all the bit configurations shows that SinReQ closes the accuracy gap between these two techniques and the full-precision runs by 32.4% and 27.5%, respectively. That is improving the absolute accuracy of DoReFa and WRPN by 2.8% and 2.1%, respectively.

研究动机与目标

• 解决深度神经网络在低比特宽度（3–5比特）量化时出现的显著准确率下降问题，尤其是在低于8比特时。
• 克服现有量化训练方法因权重分布次优而导致的残余准确率损失问题。
• 开发一种通用且非侵入性的正则化技术，可无缝集成到现有量化训练框架中，无需修改网络架构或优化过程。
• 通过将正弦正则化的周期适配到每层的目标比特宽度，实现层间灵活且异构的比特宽度分配。
• 通过自适应正则化强度，提升量化网络的端到端训练和微调场景下的性能。

提出的方法

• 在标准训练损失函数中引入一个可微分的正弦正则化项，其极小值与目标比特宽度的离散量化级别对齐。
• 正则化项定义为 $ \lambda_q \cdot \sin^2(\pi w / \Delta) $，其中 $ \Delta $ 为量化级别的间距，$ \lambda_q $ 控制正则化的强度。
• 利用正弦函数的周期性和可微性，在反向传播过程中自然地将权重值推向最近的量化级别。
• 以统一方式应用于所有层，或通过调节周期 $ \Delta $ 以匹配每层的目标比特宽度，实现按层自适应。
• 采用动态调度策略调节 $ \lambda_q $，初期值较小以允许充分探索，随后逐步增大以强制权重靠近量化级别。
• 将SinReQ集成到现有的量化训练算法（如DoReFa和WRPN）中，无需修改其核心训练流程或网络拓扑。

实验结果

研究问题

• RQ1 可微分的周期性正则化项是否能有效引导网络权重在训练过程中趋向量化级别，从而减少量化后的准确率损失？
• RQ2 在低比特宽度量化（3–5比特）下，SinReQ在多种网络架构（如AlexNet、ResNet、VGG）和数据集（CIFAR-10、SVHN）上的表现如何？
• RQ3 SinReQ在量化训练的端到端训练和微调工作流中，其性能提升程度如何？
• RQ4 当在不同层采用异构比特宽度分配时，SinReQ是否仍保持兼容性和有效性？
• RQ5 与固定设置相比，动态调度正则化强度 $ \lambda_q $ 对收敛性和最终准确率的影响如何？

主要发现

• 在所有测试的比特配置下，SinReQ使低比特量化网络与全精度模型之间的平均准确率差距，分别在DoReFa和WRPN上减少了32.4%和27.5%。
• 与基线版本相比，SinReQ将DoReFa和WRPN的绝对top-1准确率分别提升了2.8%和2.1%。
• 在采用动态 $ \lambda_q $ 的端到端训练中，SinReQ平均使准确率差距缩小40.2%，在所有情况下均优于基线。
• 动态调度 $ \lambda_q $ 避免了权重在初始化附近陷入停滞，实现了有效探索后收敛至有利于量化的值。
• SinReQ在ResNet-18、VGG-11和CIFAR-10等多种架构上均保持一致的性能表现，展现出强大的泛化能力和灵活性。
• 该技术在端到端训练和微调场景中均表现有效，显示出对不同训练范式的鲁棒性和适应性。