[论文解读] Precision Highway for Ultra Low-Precision Quantization

Eunhyeok Park, Dongyoung Kim+2 more|arXiv (Cornell University)|Dec 24, 2018

Advanced Neural Network Applications参考文献 24被引用 10

一句话总结

本文提出精度高速公路（Precision Highway），一种网络级架构，通过建立端到端的高精度信息流，减少累积量化误差，从而实现超低精度量化（2–3比特）。该方法通过残差和循环网络保持全精度激活路径，在ResNet-50中实现3比特量化且无精度损失，2比特量化仅造成2.45%的top-1精度下降，同时在最先进加速器上引入可忽略的硬件开销。

ABSTRACT

Neural network quantization has an inherent problem called accumulated quantization error, which is the key obstacle towards ultra-low precision, e.g., 2- or 3-bit precision. To resolve this problem, we propose precision highway, which forms an end-to-end high-precision information flow while performing the ultra low-precision computation. First, we describe how the precision highway reduce the accumulated quantization error in both convolutional and recurrent neural networks. We also provide the quantitative analysis of the benefit of precision highway and evaluate the overhead on the state-of-the-art hardware accelerator. In the experiments, our proposed method outperforms the best existing quantization methods while offering 3-bit weight/activation quantization with no accuracy loss and 2-bit quantization with a 2.45 % top-1 accuracy loss in ResNet-50. We also report that the proposed method significantly outperforms the existing method in the 2-bit quantization of an LSTM for language modeling.

研究动机与目标

• 为解决超低精度神经网络推理中累积量化误差的挑战，特别是2–3比特时的挑战。
• 减少在低精度计算过程中，因层间误差累积导致的深层网络精度下降。
• 设计一种可泛化的、面向网络级的解决方案，适用于前馈（卷积）和循环架构。
• 评估该方法在现代加速器上的硬件效率，确保能量和面积开销极低。

提出的方法

• 引入精度高速公路路径，从输入到输出保持高精度激活流，绕过低精度计算。
• 将精度高速公路应用于预激活和后激活残差网络，以及LSTM等循环网络。
• 通过跳跃连接和专用高精度操作保留高精度信息，最大限度减少误差累积。
• 仅在高速公路路径中使用高精度（32比特）的逐元素乘法和加法操作，而主计算路径使用超低精度（2–3比特）。
• 无缝集成高速公路路径到现有网络架构中，无需架构重构。
• 在ResNet-18/50和LSTM上分别评估图像分类和语言建模任务。

实验结果

研究问题

• RQ1 端到端的高精度信息流是否能有效减少超低精度网络中的累积量化误差？
• RQ2 在2–3比特量化下，精度高速公路方法与现有量化技术相比，在精度和硬件效率方面表现如何？
• RQ3 精度高速公路在低精度设置下对训练稳定性和收敛性改善的程度如何？
• RQ4 该方法是否可泛化到不同类型的网络，包括后激活CNN和RNN？
• RQ5 在现代加速器中，维持高精度路径的实际硬件成本（面积和能量）是多少？

主要发现

• 精度高速公路在ResNet-50中实现权重和激活的3比特量化且无精度损失，达到78.45%的top-1精度。
• 对于ResNet-50的2比特量化，该方法达到75.54%的top-1精度，相比全精度仅下降2.45%，显著优于现有方法。
• 在LSTM语言建模中，该方法将2比特量化下的困惑度降低14.1%（从133.25降至114.44），优于先前工作。
• 硬件评估显示，2比特精度高速公路仅增加3.9%的能量消耗，且从16比特到3比特精度实现了73.1%的能量降低。
• 高精度操作数量极少——例如，在2比特LSTM中，每800次低精度乘法仅需1次32比特逐元素乘法，使开销可忽略。
• 该方法优于先前最先进方法，例如在2比特LSTM量化中，困惑度仅增加23.3%（vs. 39.4%），展现出更强的鲁棒性。