[论文解读] Quantization Error as a Metric for Dynamic Precision Scaling in Neural Net Training

Ian Taras, Dylan Malone Stuart|arXiv (Cornell University)|Jan 25, 2018

Model Reduction and Neural Networks被引用 5

一句话总结

本文提出了一种动态精度缩放（DPS）算法，利用量化误差作为反馈指标，在神经网络训练过程中自适应调整定点表示的分数位宽。通过结合随机舍入与基于实时量化误差和溢出率的动态位宽调整，该方法在仅使用16位平均权重精度和14位激活精度的情况下，于MNIST数据集上实现了98.8%的测试准确率，性能与完整的32位浮点训练相当，同时显著降低了计算成本。

ABSTRACT

Recent work has explored reduced numerical precision for parameters, activations, and gradients during neural network training as a way to reduce the computational cost of training (Na & Mukhopadhyay, 2016) (Courbariaux et al., 2014). We present a novel dynamic precision scaling (DPS) scheme. Using stochastic fixed-point rounding, a quantization-error based scaling scheme, and dynamic bit-widths during training, we achieve 98.8% test accuracy on the MNIST dataset using an average bit-width of just 16 bits for weights and 14 bits for activations, compared to the standard 32-bit floating point values used in deep learning frameworks.

研究动机与目标

• 通过在不牺牲模型准确率的前提下最小化数值精度，降低深度学习训练的计算成本。
• 解决在权重、激活和梯度中使用降低精度时维持训练稳定性和收敛性的挑战。
• 开发一种动态精度缩放策略，在训练过程中根据实时误差指标自适应调整位宽。
• 评估量化误差是否可作为调整定点表示中分数位宽的可靠启发式指标。

提出的方法

• 该方法使用随机定点舍入，确保将浮点数值无偏地量化为可变精度的定点格式。
• 在训练过程中按迭代动态调整整数长度（IL）和小数长度（FL）。
• 当溢出率超过阈值（R > R_max）时增加IL，当平均量化误差超过阈值（E > E_max）时增加FL。
• 量化误差以百分比形式计算：E_% = |x_out - x_in| / |x_in| × 100，用作FL调整的反馈信号。
• 系统采用动态位宽表示，其中IL和FL可独立调节，避免了固定总位宽方案中固有的权衡。
• 实验通过自定义Caffe层在前向和反向传播过程中模拟动态定点量化。

实验结果

研究问题

• RQ1 量化误差能否作为神经网络训练过程中动态调整分数位宽的可靠指标？
• RQ2 基于量化误差和溢出率的动态精度缩放是否能在降低位宽的同时保持模型准确率？
• RQ3 采用动态位宽调整的低精度训练能否在MNIST等标准基准上实现收敛和高准确率？
• RQ4 与固定精度基线及先前的动态缩放方法相比，所提出的DPS方法在准确率和位宽效率方面表现如何？

主要发现

• 所提出的DPS算法在MNIST数据集上实现了98.8%的测试准确率，权重平均使用16位，激活使用14位，性能与完整的32位浮点训练相当。
• 该方法成功维持了训练的稳定性和收敛性，而固定13位精度的基线则无法收敛。
• 与标准的32位精度相比，权重和激活的平均位宽显著降低——分别为16位和14位。
• 梯度位宽保持较高（接近32位），因为其收敛需要最高精度，表明不同网络组件的精度需求各不相同。
• DPS下的训练损失略高于全精度基线，表明降低精度可能具有正则化效应，尽管这一现象需在更大模型上进一步验证。