[论文解读] Overwrite Quantization: Opportunistic Outlier Handling for Neural Network Accelerators.

Ritchie Zhao, Christopher De+1 more|arXiv (Cornell University)|Oct 13, 2019

Model Reduction and Neural Networks参考文献 11被引用 4

一句话总结

Overwrite Quantization (OverQ) 是一种硬件技术，通过覆写相邻值，机会性地为异常值权重和激活增加位宽，从而在极小的面积开销下实现 DNN 加速器中的高精度 4 位推理。FPGA 原型验证了其在 ResNet-18 上显著提升精度，且资源成本仅略有增加。

ABSTRACT

Outliers in weights and activations pose a key challenge for fixed-point quantization of neural networks. While outliers can be addressed by fine-tuning, this is not practical for machine learning (ML) service providers (e.g., Google, Microsoft) who often receive customers' models without the training data. Specialized hardware for handling outliers can enable low-precision DNNs, but incurs nontrivial area overhead. In this paper, we propose overwrite quantization (OverQ), a novel hardware technique which opportunistically increases bitwidth for outliers by letting them overwrite adjacent values. An FPGA prototype shows OverQ can significantly improve ResNet-18 accuracy at 4 bits while incurring relatively little increase in resource utilization.

研究动机与目标

• 解决固定点量化中神经网络的异常值问题，因为低精度格式会导致模型精度下降。
• 在机器学习服务提供商环境中实现实际的低精度推理，而无需访问训练数据进行微调。
• 在支持异常值处理的神经网络加速器中，将硬件面积开销最小化。
• 设计一种可扩展且高效的硬件解决方案，可无缝集成到现有 DNN 加速器流水线中。

提出的方法

• Overwrite Quantization 通过在权重或激活内存布局中覆写相邻值，动态地为异常值增加位宽。
• 该技术在量化过程中识别异常值，并将其存储重新分配到具有扩展位宽的相邻位置，从而保持数据完整性。
• 一种硬件感知的量化方案在推理阶段集成异常值检测与位宽调整，无需重新训练。
• 该方法使用紧凑的控制逻辑管理位宽切换与内存映射，最大限度减少面积开销。
• FPGA 原型在 DNN 加速器中实现了 OverQ，验证了其在 ResNet-18 上的有效性与高效性。

实验结果

研究问题

• RQ1 是否可以在不重新训练或无法访问训练数据的情况下，实现低精度 DNN 推理中的异常值处理？
• RQ2 如何在神经网络加速器中以极小的面积开销实现对异常值的硬件支持？
• RQ3 与标准量化方法相比，OverQ 在 4 位精度下能将模型精度提升多少？
• RQ4 覆写机制是否能在实时推理工作负载中保持高吞吐量和低延迟？

主要发现

• OverQ 显著提升了 ResNet-18 在 4 位量化下的精度，优于标准量化方法。
• FPGA 原型显示，尽管处理了异常值，OverQ 仅带来资源利用率的微小增加。
• 该技术无需微调即可实现高精度推理，适用于无法访问训练数据的机器学习服务提供商。
• 通过覆写相邻值，OverQ 以极低的硬件复杂度实现了有效的异常值位宽扩展。