[论文解读] TENT: Efficient Quantization of Neural Networks on the tiny Edge with Tapered FixEd PoiNT

Hamed F. Langroudi, Vedant Karia+2 more|arXiv (Cornell University)|Apr 5, 2021

Advanced Neural Network Applications被引用 5

一句话总结

TENT 提出了一种动态分层定点量化框架，根据 TinyML 模型中每层的权重和激活分布，自适应调整数值格式参数（整数位数和缩放因子），在 CIFAR-10 和 ImageNet 基准测试中，相比标准定点格式，实现了最高 31% 的准确率提升，同时仅带来 17–30% 的能量开销增加。

ABSTRACT

In this research, we propose a new low-precision framework, TENT, to leverage the benefits of a tapered fixed-point numerical format in TinyML models. We introduce a tapered fixed-point quantization algorithm that matches the numerical format's dynamic range and distribution to that of the deep neural network model's parameter distribution at each layer. An accelerator architecture for the tapered fixed-point with TENT framework is proposed. Results show that the accuracy on classification tasks improves up to ~31 % with an energy overhead of ~17-30 % as compared to fixed-point, for ConvNet and ResNet-18 models.

研究动机与目标

• 解决标准定点格式中固定动态范围和均匀间距导致的低精度 TinyML 模型性能下降问题。
• 通过采用具有分层精度和灵活动态范围的数值格式，克服低比特定点算术中的量化误差。
• 设计一种量化框架，使数值格式能够根据每层参数和激活的统计分布进行定制化适配。
• 开发一种面向分层定点推理的硬件优化加速器架构，以评估延迟和能效。
• 证明分层定点量化在真实世界 TinyML 基准测试中，相比标准定点量化，在准确率上表现更优，且能量开销可控。

提出的方法

• 提出一种分层定点（TFX）数值格式，结合了定点格式的硬件效率与 posit 格式的动态范围和非均匀分辨率特性。
• 设计一种逐层量化算法，根据层参数和激活的统计分布，动态选择整数位宽（IS）和缩放因子（SC）。
• 将 TENT 框架应用于使用 TFX 格式（位宽 5 至 8 位）对 ConvNet 和 ResNet-18 模型的权重和激活进行量化。
• 采用输出驻留数据流和 16×16 处理元素（PE）阵列，实现定制化硬件加速器，以评估延迟和能耗。
• 优化 TFX 的 MAC 单元设计，在支持每层可变 IS 和 SC 的前提下，最小化面积和能耗。
• 在 MNIST、Fashion-MNIST 和 CIFAR-10 上，通过准确率、能量延迟积（EDP）和计算效率等指标，对推理性能进行基准测试。

实验结果

研究问题

• RQ1 与标准定点格式相比，具有动态范围和非均匀分辨率的分层定点格式是否能有效降低低精度 TinyML 模型中的量化误差？
• RQ2 逐层自适应调整整数位数和缩放因子，在多种 TinyML 模型中对推理准确率的提升程度如何？
• RQ3 在 TinyML 推理硬件加速器中实现分层定点算术，其能量和延迟开销是多少？
• RQ4 在标准基准测试中，TENT 与标准定点量化相比，在准确率和能效方面的表现如何？
• RQ5 在相同位宽下，TENT 框架是否在准确率上优于标准定点格式，特别是在参数动态范围较高的模型（如 ResNet-18）中？

主要发现

• 在 CIFAR-10 数据集上，TENT 相比标准定点量化，推理准确率最高提升 31%，尤其在 8 位 ResNet-18 模型中表现显著。
• 在 CIFAR-10 上，8 位 TFX 实现了 81.66% 的 top-1 准确率，而定点格式仅为 54.20%，相对提升达 27.44%。
• TFX 的能量延迟积（EDP）仅比定点格式高 17–30%，表明其在实现显著准确率提升的同时，硬件开销极低。
• TENT 框架通过根据每层权重和激活的分布特性自适应调整数值格式，有效降低了总量化误差。
• 采用输出驻留数据流与 16×16 PE 阵列，将计算效率从 89.58% 提升至 91.82%，并相比权重驻留流降低了 24% 的延迟。
• 所提出的 TFX MAC 单元在支持每层可变 IS 和 SC 的前提下，实现了高效率，同时显著减少了面积和能耗。