[论文解读] On Periodic Functions as Regularizers for Quantization of Neural Networks

Maxim Naumov, Utku Diril+4 more|arXiv (Cornell University)|Nov 24, 2018

Neural Networks and Applications参考文献 31被引用 14

一句话总结

该论文提出了一种用于神经网络的新型量化方法，该方法在训练过程中使用周期函数（如正弦、余弦和三角函数）作为正则化项，以促使权重收敛到离散的整数值。通过随时间调整这些函数的振幅和频率，该方法在CIFAR-10和ImageNet上实现了与全精度模型相比精度损失极小的高精度8位量化模型。

ABSTRACT

Deep learning models have been successfully used in computer vision and many other fields. We propose an unorthodox algorithm for performing quantization of the model parameters. In contrast with popular quantization schemes based on thresholds, we use a novel technique based on periodic functions, such as continuous trigonometric sine or cosine as well as non-continuous hat functions. We apply these functions component-wise and add the sum over the model parameters as a regularizer to the model loss during training. The frequency and amplitude hyper-parameters of these functions can be adjusted during training. The regularization pushes the weights into discrete points that can be encoded as integers. We show that using this technique the resulting quantized models exhibit the same accuracy as the original ones on CIFAR-10 and ImageNet datasets.

研究动机与目标

• 通过量化减少模型大小和推理成本，以解决在资源受限的边缘设备上部署深度神经网络的挑战。
• 克服传统量化方法依赖固定阈值所带来的局限性，避免权重分布失真或精度损失。
• 探究周期函数是否可作为有效正则化项，在训练过程中引导网络权重趋向于离散的、可量化的值。
• 证明振幅调度的周期函数正则化可实现高精度8位量化，且无需采用特定的逐层或逐轮训练策略。

提出的方法

• 在训练过程中，通过逐元素应用周期函数（如正弦、余弦、三角函数）对模型权重施加正则化项。
• 将正则化项加入损失函数，表示为所有权重的总和：$ \sum_i \text{periodic}(w_i) $，其频率和振幅可调。
• 振幅随训练轮次逐渐增加（例如，从$10^{-4}$增加到$10^{-1}$），从而有效调节正则化强度。
• 周期函数被设计为使极小值和极大值与期望的量化级别对齐，从而推动权重向离散整数值靠拢。
• 训练完成后，使用对称均匀量化对模型进行量化：$ Q(w) = \gamma \cdot \text{round}(w / \gamma) $，其中$ \gamma = c / (2^{t-1} - 1) $，$ c $为最大绝对权重值。
• 该方法无需在量化后进行微调或重新训练，且可与标准量化流程兼容。

实验结果

研究问题

• RQ1 周期函数能否作为有效正则化项，在训练过程中引导神经网络权重趋向于离散的、可量化的值？
• RQ2 振幅调度的周期函数正则化是否可在标准基准上实现高精度8位量化，且精度损失可忽略？
• RQ3 在不同位宽下，周期函数正则化与标准量化方案相比，在精度和鲁棒性方面表现如何？
• RQ4 该方法是否可在不同网络架构和数据集上泛化，例如在CIFAR-10上的ResNet-20和在ImageNet上的ResNet-50？
• RQ5 周期函数的选择（如正弦与三角函数）是否对性能有显著影响，还是二者表现相近？

主要发现

• 在ImageNet上，使用基于正弦函数的正则化，该方法在8位量化下实现了1.29%的Top1测试错误率，与原始模型的75.84% Top1错误率相当。
• 在CIFAR-10上，采用动态振幅调度时，该方法在2位量化下实现了10.20%的测试错误率，显著优于静态振幅或基线方法。
• 在CIFAR-10上进行8位量化时，该方法在动态振幅调度下实现16.66%的测试错误率，而固定振幅下为29.26%，表明自适应调度具有显著优势。
• 在ImageNet上，正弦函数和三角函数的性能表现相近，Top1错误率分别为75.57%和75.77%，表明函数选择并非关键因素。
• 该方法在不同位宽下均保持高精度，低于8位时性能明显下降，表明8位是该方法的实用下限。
• 该方法在量化后可实现与全精度模型几乎相同的精度，且无需微调或为早期/晚期层设计特殊训练流程。