[论文解读] The Challenge of Multi-Operand Adders in CNNs on FPGAs: How not to solve it!

Kamel Abdelouahab, François Berry+1 more|arXiv (Cornell University)|Jun 30, 2018

Advanced Memory and Neural Computing参考文献 15被引用 4

一句话总结

本文研究了两种策略——时分复用串行化和使用LOA加法器的近似计算——以降低FPGA-based CNN加速器中多操作数加法器（MOAs）的高资源开销。尽管理论上具有潜力，但两种方法在实践中均失败：串行化引入了过多的逻辑开销，而近似加法器由于FPGA逻辑块架构的原因无法节省面积，导致当前FPGA不适用于通过这些方法优化MOA。

ABSTRACT

Convolutional Neural Networks (CNNs) are computationally intensive algorithms that currently require dedicated hardware to be executed. In the case of FPGA-Based accelerators, we point-out in this work the challenge of Multi-Operand Adders (MOAs) and their high resource utilization in an FPGA implementation of a CNN. To address this challenge, two optimization strategies, that rely on time-multiplexing and approximate computing, are investigated. At first glance, the two strategies looked promising to reduce the footprint of a given architectural mapping, but when synthesized on the device, none of them gave the expected results. Experimental sections analyze the reasons of these unexpected results.

研究动机与目标

• 为解决FPGA-based CNN加速器中多操作数加法器（MOAs）的高资源占用问题，其在某些层中可占用高达69%的逻辑资源。
• 评估时分复用串行化作为减少MOA占用面积的方法，通过在多个时钟周期内重用加法器硬件。
• 探索使用低位或（LOA）加法器的近似计算，以减少MOA树的面积和功耗。
• 识别为何在现代FPGA上综合时，这些优化策略未能实现预期的资源节省，尽管理论预期强烈。

提出的方法

• 使用VHDL在Intel Stratix V FPGA上设计并综合一个用于MOAs的串行器/累加器对，通过改变簇大小来评估逻辑资源利用率。
• 将二进制加法器树作为基准进行资源对比，使用8位操作数和Quartus 16.0综合工具。
• 将MOA树中的精确二进制加法器替换为近似LOA加法器，改变近似比率（0%至50%）和位宽。
• 测量自适应逻辑模块（ALMs）中的逻辑资源利用率，并使用平均相对误差距离（MRED）指标评估准确性。
• 通过比较不同近似比率和位宽下的资源使用情况与误差率，评估准确性与面积效率之间的权衡。
• 分析FPGA特定逻辑块（如内嵌全加法器的ALMs）对近似加法器在MOA优化中有效性的影响。

实验结果

研究问题

• RQ1 时分复用串行化MOAs是否能减少FPGA-based CNN加速器中的资源利用率？
• RQ2 使用LOA加法器的近似计算能否显著减少FPGA中MOA树的面积占用？
• RQ3 为何在现代FPGA上实现时，串行化和近似计算策略均未能实现预期的资源节省？
• RQ4 现代FPGA逻辑块结构（如内嵌全加法器的ALMs）如何影响近似加法器在MOA优化中的可行性？
• RQ5 串行器的开销和固定的逻辑块结构在多大程度上抵消了MOA优化技术的理论优势？

主要发现

• MOAs的串行器/累加器对所消耗的逻辑单元多于全流水线二进制加法器树，且串行器开销随操作数数量线性增长。
• 在现代FPGA上，近似LOA加法器并未减少ALM资源利用率，因为逻辑块本身已包含硬连线全加法器，导致基于或门的近似方法在硬件层面无效。
• 8位LOA加法器的平均相对误差距离（MRED）即使在50%近似比率下也保持在10%以下，表明对某些应用具有可接受的准确性。
• 尽管误差率较低，但由于FPGA逻辑块的固定资源成本，近似加法器并未实现面积节省，无论近似比率如何。
• MOAs的高资源开销——在AlexNet第一层中最高可达总逻辑资源的69%——在当前FPGA优化策略下仍难以避免。
• 当前FPGA架构不支持通过串行化或近似计算实现MOA的高效优化，凸显了为大加法器设计专用DSP模块的必要性。