[论文解读] Post-training Quantization with Multiple Points: Mixed Precision without Mixed Precision

Xingchao Liu, Mao Ye+2 more|arXiv (Cornell University)|Feb 20, 2020

Advanced Neural Network Applications参考文献 35被引用 6

一句话总结

本文提出多点量化（multipoint quantization），一种后训练量化方法，通过使用多个低比特向量的线性组合来近似全精度权重，实现在无需专用硬件的情况下实现类似混合精度的性能。该方法通过贪心算法自适应选择重要通道进行高阶近似，在ImageNet和PASCAL VOC上实现了最先进（SOTA）的准确率，同时保持极低的内存和计算开销。

ABSTRACT

We consider the post-training quantization problem, which discretizes the weights of pre-trained deep neural networks without re-training the model. We propose multipoint quantization, a quantization method that approximates a full-precision weight vector using a linear combination of multiple vectors of low-bit numbers; this is in contrast to typical quantization methods that approximate each weight using a single low precision number. Computationally, we construct the multipoint quantization with an efficient greedy selection procedure, and adaptively decides the number of low precision points on each quantized weight vector based on the error of its output. This allows us to achieve higher precision levels for important weights that greatly influence the outputs, yielding an 'effect of mixed precision' but without physical mixed precision implementations (which requires specialized hardware accelerators). Empirically, our method can be implemented by common operands, bringing almost no memory and computation overhead. We show that our method outperforms a range of state-of-the-art methods on ImageNet classification and it can be generalized to more challenging tasks like PASCAL VOC object detection.

研究动机与目标

• 解决在无重训练或无训练数据访问条件下，将量化神经网络部署于资源受限设备的挑战。
• 在无需专用硬件加速器的前提下，实现后训练量化中的类似混合精度准确率提升。
• 开发一种硬件友好的量化方法，仅使用常见运算操作，同时保持低内存和计算开销。
• 通过使用多个低比特向量，实现仅用单一精度级别即可实现自适应的逐通道精度控制。
• 证明该方法可推广至图像分类之外的复杂任务，如目标检测。

提出的方法

• 该方法将每个全精度权重向量近似为多个低比特向量的线性组合，实现每通道灵活的精度分配。
• 采用贪心选择算法，迭代添加能最大程度降低输出误差的低比特向量，直至误差改善低于阈值时停止。
• 每通道使用的低比特向量数量根据其对输出误差的贡献自适应确定，优先分配给重要通道。
• 该方法仅使用标准的乘加（MAC）运算，与通用硬件兼容，避免了对混合精度计算的支持需求。
• 该算法按层或按通道应用，权重和激活量化至4比特或更低，且包含裁剪操作以提升鲁棒性。
• 该方法可推广至按层和按通道的量化，内存增加极少，计算开销可忽略不计。

实验结果

研究问题

• RQ1 后训练量化能否在无需专用硬件加速器的情况下实现类似混合精度的性能？
• RQ2 通过在每个权重上使用多个低比特向量，单一精度量化方法能否实现优于现有SOTA方法的准确率？
• RQ3 在通道间自适应分配低比特向量如何影响模型准确率和资源成本？
• RQ4 所提出的方法能否推广至图像分类之外的更复杂任务，如目标检测？
• RQ5 在所提出的多点量化框架中，计算成本、内存开销与准确率提升之间的权衡关系如何？

主要发现

• 在ImageNet分类任务中，该方法在权重裁剪后，于VGG19-BN和Inception-v3上比最先进混合精度基线（Banner et al., 2019）的Top-1准确率高出超过2%。
• 在4比特量化下，该方法在按层量化设置下使mAP提升1.24%，在按通道量化设置下提升0.41%。
• 在3比特权重量化下，该方法在按层量化设置下使mAP提升4.38%，且仅增加0.01MB内存开销。
• 在3比特按通道量化下，该方法实现1.09%的mAP提升，表明在极低比特宽度下仍具有强大性能。
• 所有实验中内存开销均低于5%，计算开销相比朴素量化不超过17%。
• 贪心算法确保快速收敛，误差随所用低比特向量数量呈指数级下降。