[论文解读] WRPN: Training and Inference using Wide Reduced-Precision Networks

Asit Mishra, Jeffrey Cook+2 more|arXiv (Cornell University)|Apr 10, 2017

Advanced Neural Network Applications参考文献 5被引用 7

一句话总结

WRPN 提出了一种新颖的训练与推理框架，通过加宽网络层，在保持或提升准确率的同时降低深度神经网络的激活值和权重精度。通过将激活值和权重量化至低比特宽度（例如 4b 或 2b），并加倍滤波器特征图数量，WRPN 实现了全精度准确率，同时显著降低计算、内存和能耗成本——在 AlexNet 和 ResNet 上的实验表明，其计算成本仅为全精度模型的 14–15%。

ABSTRACT

For computer vision applications, prior works have shown the efficacy of reducing the numeric precision of model parameters (network weights) in deep neural networks but also that reducing the precision of activations hurts model accuracy much more than reducing the precision of model parameters. We study schemes to train networks from scratch using reduced-precision activations without hurting the model accuracy. We reduce the precision of activation maps (along with model parameters) using a novel quantization scheme and increase the number of filter maps in a layer, and find that this scheme compensates or surpasses the accuracy of the baseline full-precision network. As a result, one can significantly reduce the dynamic memory footprint, memory bandwidth, computational energy and speed up the training and inference process with appropriate hardware support. We call our scheme WRPN - wide reduced-precision networks. We report results using our proposed schemes and show that our results are better than previously reported accuracies on ILSVRC-12 dataset while being computationally less expensive compared to previously reported reduced-precision networks.

研究动机与目标

• 解决深度神经网络在实时机器人和嵌入式视觉应用中高内存与高计算成本的问题。
• 在不牺牲模型准确率的前提下，降低激活值与权重的精度，与以往仅关注权重量化的工作形成对比。
• 探究增加滤波器特征图宽度是否可补偿因激活值精度降低导致的准确率损失。
• 设计一种适合嵌入式与实时系统高效部署的硬件友好型量化方案。
• 证明低精度网络可在计算成本更低的同时，准确率优于全精度基线模型。

提出的方法

• 将激活值量化为 k 位定点表示，范围为 [0,1]，使用公式 $ \frac{round((2^k - 1) \cdot A)}{2^k - 1} $。
• 将权重值量化为 k 位定点表示，范围为 {-1,+1}，使用 $ \frac{round((2^{k-1} - 1) \cdot W)}{2^{k-1} - 1} $，其中一位保留用于符号表示。
• 通过将每层的滤波器特征图数量增加两倍，以补偿精度降低，从而维持或提升模型容量。
• 使用混合精度量化张量从零开始进行端到端训练，通过浮点常数缩放以保持梯度流动。
• 使用仿射变换将全精度张量映射到量化表示，以支持高效硬件映射。
• 将该方案应用于 ILSVRC-12 数据集上的标准模型（如 AlexNet 和 ResNet-34），以评估准确率与效率。

实验结果

研究问题

• RQ1 在不增加模型深度或宽度的前提下，将激活值精度降低至 32 位以下，是否能够维持或提升模型准确率？
• RQ2 在层中增加滤波器特征图数量，是否能有效补偿因低精度激活值导致的准确率下降？
• RQ3 一种针对权重与激活值的硬件友好型量化方案，是否能实现嵌入式与实时系统中的高效部署？
• RQ4 WRPN 方法是否在降低计算与内存成本的同时，实现高于全精度基线模型的准确率？
• RQ5 在精度降低与滤波器特征图加宽之间，实现高准确率且计算开销低的最优权衡是什么？

主要发现

• 使用 4b 权重与 2b 激活值的 AlexNet，配合 2 倍滤波器特征图，达到 58.6% 的 top-1 准确率——与全精度基线（57.2%）持平，并在使用 4b 激活值时实现超越。
• WRPN 版本的 AlexNet（4b 权重与 4b 激活值）达到 58.6% 的 top-1 准确率，较全精度基线高出 1.44%。
• 4b/4b WRPN AlexNet 变体的总计算成本仅为全精度基线的 14%，尽管原始 FMA 操作增加了 3.9 倍。
• 使用 4b 权重与 8b 激活值的 ResNet-34，配合 2 倍滤波器特征图，达到 73.8% 的 top-1 准确率——超过全精度基线的 73.2%。
• 低精度版本的 ResNet-34 总计算成本仅为全精度模型的 15.1%，展现出显著的效率提升。
• 所提出的量化方案具有硬件友好性，通过定点运算与可扩展的缩放操作，支持在嵌入式与实时系统中高效实现。