[论文解读] NESTA: Hamming Weight Compression-Based Neural Proc. Engine

Ali Mirzaeian, Houman Homayoun+1 more|arXiv (Cornell University)|Oct 1, 2019

Advanced Neural Network Applications参考文献 33被引用 10

一句话总结

NESTA 是一种专用的神经处理引擎，通过用层次化的汉明权重压缩器替代传统的乘加（MAC）单元，将 9 个输入值（3×3 卷积核）并行处理，从而加速卷积神经网络（CNN）的推理。通过计算近似部分和，并将残余进位校正推迟到最后一周期完成，NESTA 缩短了关键路径延迟，在功耗延迟积（PDP）方面相比基于 MAC 的加速器降低了 33–78%。

ABSTRACT

In this paper, we present NESTA, a specialized Neural engine that significantly accelerates the computation of convolution layers in a deep convolutional neural network, while reducing the computational energy. NESTA reformats Convolutions into $3 imes 3$ batches and uses a hierarchy of Hamming Weight Compressors to process each batch. Besides, when processing the convolution across multiple channels, NESTA, rather than computing the precise result of a convolution per channel, quickly computes an approximation of its partial sum, and a residual value such that if added to the approximate partial sum, generates the accurate output. Then, instead of immediately adding the residual, it uses (consumes) the residual when processing the next batch in the hamming weight compressors with available capacity. This mechanism shortens the critical path by avoiding the need to propagate carry signals during each round of computation and speeds up the convolution of each channel. In the last stage of computation, when the partial sum of the last channel is computed, NESTA terminates by adding the residual bits to the approximate output to generate a correct result.

研究动机与目标

• 解决传统基于 MAC 的深度神经网络（DNN）加速器在处理 CNN 卷积层时计算能耗高、延迟大的问题。
• 通过每周期批量压缩处理 9 个输入值（3×3 卷积核），减少数据移动和部分和的生成。
• 通过使用时间进位位和分层压缩器延迟进位传播，提升能效和吞吐量。
• 在性能和 PDP 方面优于现有的基于 MAC 和 MAC9 的神经处理单元。

提出的方法

• NESTA 将 3×3 卷积重构成批次处理，并利用层次化的汉明权重压缩器并行计算近似部分和与残余进位位。
• 每个周期计算一个近似和（S′）和一个时间进位（P），并将最终校正推迟到最后一周期。
• 不立即传播进位，而是将残余位在后续具有可用容量的压缩器中消耗，从而缩短关键路径。
• 最终输出通过在最后一步将残余进位位加到近似和上生成。
• 该设计避免使用乘法器和传统加法器，仅依赖压缩和一次最终加法来计算正确结果。
• NESTA 通过在 AlexNet 和 VGG 上进行后版图仿真，与多种 MAC 和 MAC9 配置对比，评估了吞吐量、延迟和 PDP。

实验结果

研究问题

• RQ1 基于压缩的处理引擎是否能在 CNN 推理中实现比传统 MAC 单元更高的能效和吞吐量？
• RQ2 使用时间进位位延迟进位传播，对卷积计算中的关键路径和整体延迟有何影响？
• RQ3 通过残余校正的近似部分和计算，能在多大程度上降低 DNN 加速器的功耗延迟积（PDP）？
• RQ4 对 9 个输入值（3×3 卷积核）进行分层压缩，与标准 MAC 单元相比，对面积、功耗和性能的影响如何？

主要发现

• 在后版图仿真中，NESTA 相较于多种 9 输入 MAC 单元，功耗延迟积（PDP）降低了 30–67%。
• 与性能最佳和最差的基于 MAC 的设计相比，NESTA 提升了 33–78% 的能效和 1–37% 的吞吐量。
• 使用时间进位位和延迟校正可避免在每个计算周期内进行进位传播，从而减少关键路径延迟。
• 在 AlexNet 和 VGG 的所有层中，NESTA 在延迟和能耗方面均优于 MAC9 和单个 MAC 单元。
• 与性能最差的 MAC 配置相比，所提出的架构将 PDP 最多降低 78%，并通过最终残余校正保持了精度。
• NESTA 的 9 输入压缩模型结合分层汉明权重压缩器，实现了显著的面积和能耗节省，且不牺牲结果的正确性。