[论文解读] Same, Same But Different - Recovering Neural Network Quantization Error Through Weight Factorization

Eldad Meller, Alexander M. Finkel’stein+2 more|arXiv (Cornell University)|Feb 5, 2019

Advanced Neural Network Applications被引用 28

一句话总结

本文提出一种预处理方法，通过反比权重分解来减少神经网络量化误差，方法通过均衡各层之间通道的动态范围实现。通过增强低活跃度通道并利用下一层的反向缩放进行补偿，该方法显著降低了量化引起的性能退化——在 8 位量化下实现了 MobileNets 的最先进结果，甚至无需进行量化感知训练或微调。

ABSTRACT

Quantization of neural networks has become common practice, driven by the need for efficient implementations of deep neural networks on embedded devices. In this paper, we exploit an oft-overlooked degree of freedom in most networks - for a given layer, individual output channels can be scaled by any factor provided that the corresponding weights of the next layer are inversely scaled. Therefore, a given network has many factorizations which change the weights of the network without changing its function. We present a conceptually simple and easy to implement method that uses this property and show that proper factorizations significantly decrease the degradation caused by quantization. We show improvement on a wide variety of networks and achieve state-of-the-art degradation results for MobileNets. While our focus is on quantization, this type of factorization is applicable to other domains such as network-pruning, neural nets regularization and network interpretability.

研究动机与目标

• 解决在边缘设备上部署的深度神经网络因低精度量化导致的性能退化问题。
• 利用神经网络权重分解中被忽视的自由度——即在不改变网络功能的前提下，对通道权重进行重新缩放。
• 通过均衡每层输出通道的动态范围，减少量化噪声，降低主导通道对噪声分布的影响。
• 实现快速、高效的量化模型部署，无需微调或访问原始数据集。

提出的方法

• 提出反比权重分解：对于任意层，将输出通道缩放因子设为 C，同时将下一层对应权重反向缩放，可保持网络功能不变。
• 引入一种贪心的、逐层均衡算法，将低活跃度通道放大至与主导（最高活跃度）通道的动态范围一致。
• 采用两步均衡过程：第一步，对低于主导范围的通道进行一次均衡放大；第二步，允许最多 30% 的衰减，以避免影响全精度性能。
• 使用仅 1000 张无标签图像的知识蒸馏方法，微调偏置项，纠正因量化引起的权重分布偏移。
• 采用通道级缩放策略，与标准 8 位整数量化兼容，避免了逐通道量化带来的硬件与存储开销。
• 将均衡作为量化前的预处理步骤，使其与现有量化流程兼容，支持立即部署。

实验结果

研究问题

• RQ1 是否可以利用等效权重分解在不进行微调或不访问训练数据的情况下，减少量化引起的性能退化？
• RQ2 在层内均衡输出通道的动态范围，是否能提升对权重和激活量化噪声的鲁棒性？
• RQ3 贪心的、逐层均衡策略在多种网络架构中，是否能有效减少量化后的精度损失？
• RQ4 均衡方法是否能在无需量化感知训练或逐通道量化的情况下，实现量化模型（如 MobileNet）的最先进性能？
• RQ5 不同层的权重和激活量化噪声影响如何？是否可利用该特性优化均衡策略？

主要发现

• 一步均衡将 MobileNet V1-1.0 在 8 位量化下的精度退化从 7.89% 降低至 3.2%，而两步均衡进一步降至 1.3%。
• 对于 MobileNet V2-1.4，使用两步均衡与偏置微调后，退化从 8.06% 降低至 0.55%，达到最先进性能。
• 在 8 位量化下，该方法在 ResNet-V1-152 和 Inception-V3 上分别实现了 0.62% 和 0.05% 的退化，表现具有竞争力。
• 该方法与现有量化方案完全兼容，可实现无需微调的快速量化模型部署。
• 仅使用 1000 张无标签图像进行知识蒸馏，即可有效纠正量化引起的分布偏移，保持全精度精度。
• 该方法通过避免逐通道量化开销，在计算成本极低的情况下，实现了优于或相当的性能表现。