[论文解读] Understanding the Impact of Precision Quantization on the Accuracy and Energy of Neural Networks

Soheil Hashemi, Nicholas Anthony+3 more|arXiv (Cornell University)|Dec 12, 2016

Advanced Neural Network Applications参考文献 18被引用 7

一句话总结

本文研究了深度神经网络中精度量化、准确率与能效之间的权衡。提出了一种训练技术以缓解低精度网络中的准确率损失，并表明更大、更低精度的模型在准确率和能效方面均可优于较小的全精度模型，实现高达94.1%的能效节省，且准确率损失极小。

ABSTRACT

Deep neural networks are gaining in popularity as they are used to generate state-of-the-art results for a variety of computer vision and machine learning applications. At the same time, these networks have grown in depth and complexity in order to solve harder problems. Given the limitations in power budgets dedicated to these networks, the importance of low-power, low-memory solutions has been stressed in recent years. While a large number of dedicated hardware using different precisions has recently been proposed, there exists no comprehensive study of different bit precisions and arithmetic in both inputs and network parameters. In this work, we address this issue and perform a study of different bit-precisions in neural networks (from floating-point to fixed-point, powers of two, and binary). In our evaluation, we consider and analyze the effect of precision scaling on both network accuracy and hardware metrics including memory footprint, power and energy consumption, and design area. We also investigate training-time methodologies to compensate for the reduction in accuracy due to limited bit precision and demonstrate that in most cases, precision scaling can deliver significant benefits in design metrics at the cost of very modest decreases in network accuracy. In addition, we propose that a small portion of the benefits achieved when using lower precisions can be forfeited to increase the network size and therefore the accuracy. We evaluate our experiments, using three well-recognized networks and datasets to show its generality. We investigate the trade-offs and highlight the benefits of using lower precisions in terms of energy and memory footprint.

研究动机与目标

• 系统评估从二值到32位浮点数的数值精度变化对神经网络准确率和硬件效率的影响。
• 通过训练时的补偿技术应对低精度网络中的准确率下降问题。
• 探索是否可将精度降低带来的能效节省部分重新投入网络规模扩大，以恢复或超越基线准确率。
• 对多种网络架构和数据集，提供硬件指标（能效、面积、功耗）与推理准确率的全面、数据驱动分析。
• 为低功耗系统实际部署建立准确率与能效之间权衡的Pareto前沿。

提出的方法

• 评估了广泛的精度表示形式：32位浮点数、定点数（8、16、32位）、2的幂次量化以及二值权重。
• 采用训练时补偿策略，通过微调和重训练以减轻低精度网络中的准确率损失。
• 引入三种网络变体——标准型、扩展型（+）和进一步扩展型（++），通过增加宽度或深度来补偿精度损失。
• 采用硬件感知指标，包括内存占用、能耗和设计面积，通过仿真和硬件建模进行测量。
• 使用Pareto前沿可视化方法比较不同精度级别和网络规模之间的权衡，突出最优设计点。
• 在三个基准网络（ALEX、ALEX+、ALEX++）上使用CIFAR-10数据集验证结果，以确保普适性。

实验结果

研究问题

• RQ1 在不同网络架构中，网络权重和激活值的位精度降低如何影响推理准确率？
• RQ2 训练时技术（如微调和重训练）在多大程度上可补偿低精度网络中的准确率下降？
• RQ3 能否有效将低精度表示带来的能效节省重新投入网络规模扩大，以恢复或超越全精度模型的准确率？
• RQ4 在低功耗推理系统中，精度、网络规模与硬件效率（能效、面积、功耗）之间的最优平衡是什么？
• RQ5 在真实世界基准中，不同量化方案（定点数、2的幂次、二值化）在准确率和能效方面的表现如何比较？

主要发现

• 定点数（8,8）在CIFAR-10上实现了85.34%的能效节省，准确率仅比全精度（32,32）下降3.23%。
• 二值网络（1,16）实现了94.10%的能效节省，能耗从335.68 μJ降至19.79 μJ，同时保持74.84%的准确率。
• 采用2的幂次量化（6,16）的扩展网络ALEX++实现了81.26%的准确率和35.93%的能效节省，优于全精度基线模型在两项指标上的表现。
• 如二值网络++（1,16）这类更大、更低精度的网络实现了80.52%的准确率和72.89%的能效节省，表明通过架构扩展可恢复准确率损失。
• 定点数（4,4）在CIFAR-10上无法收敛，表明存在精度下限，低于此下限训练稳定性将受损。
• Pareto前沿分析确认，更大、更低精度的网络可在能效和准确率两方面全面超越全精度模型，尤其当部分能效节省被重新分配至模型规模时更为显著。