[论文解读] ShiftAddNet: A Hardware-Inspired Deep Network

Haoran You, Xiaohan Chen+6 more|arXiv (Cornell University)|Oct 24, 2020

Advanced Neural Network Applications参考文献 47被引用 37

一句话总结

ShiftAddNet 通过仅使用位移和加法层来替代乘法，从而重新定义深度神经网络，实现在能耗更低的训练和推理，且精度可与标准网络相当。基于 FPGA 的测量显示在保持性能的同时实现显著的能量节省。

ABSTRACT

Multiplication (e.g., convolution) is arguably a cornerstone of modern deep neural networks (DNNs). However, intensive multiplications cause expensive resource costs that challenge DNNs' deployment on resource-constrained edge devices, driving several attempts for multiplication-less deep networks. This paper presented ShiftAddNet, whose main inspiration is drawn from a common practice in energy-efficient hardware implementation, that is, multiplication can be instead performed with additions and logical bit-shifts. We leverage this idea to explicitly parameterize deep networks in this way, yielding a new type of deep network that involves only bit-shift and additive weight layers. This hardware-inspired ShiftAddNet immediately leads to both energy-efficient inference and training, without compromising the expressive capacity compared to standard DNNs. The two complementary operation types (bit-shift and add) additionally enable finer-grained control of the model's learning capacity, leading to more flexible trade-off between accuracy and (training) efficiency, as well as improved robustness to quantization and pruning. We conduct extensive experiments and ablation studies, all backed up by our FPGA-based ShiftAddNet implementation and energy measurements. Compared to existing DNNs or other multiplication-less models, ShiftAddNet aggressively reduces over 80% hardware-quantified energy cost of DNNs training and inference, while offering comparable or better accuracies. Codes and pre-trained models are available at https://github.com/RICE-EIC/ShiftAddNet.

研究动机与目标

• 以硬件设计原理（位移与加法）为出发点，推动无乘法的深度网络，以降低能耗。
• 开发一个两层范式（位移与加法），在保持表达能力和可训练性的同时，媲美标准 DNN。
• 展示 ShiftAddNet 的训练与推理算法，并给出实际硬件实现与能量测量。
• 量化在精度、训练效率以及在量化与剪枝下的鲁棒性之间的权衡。

提出的方法

• 通过用两个无乘法的层替代卷积层和全连接层，将标准神经网络重新参数化：位移和加法。
• 形式化将位移和加法操作结合的 ShiftAddNet 流水线，以保持表达能力。
• 推导位移层和加法层的反向传播规则，包括权重更新和梯度流。
• 提出一种固定位移层的变体，以探索粗粒度/细粒度学习与能量节省。
• 在 Zynq FPGA 上实现 ShiftAddNet，并将能耗和精度与 AdderNet、DeepShift 和 ConvNet 进行比较。

实验结果

研究问题

• RQ1 以硬件为灵感的位移与加法层结合，是否能在显著减少乘法的同时达到与标准 DNN 相当的表达能力？
• RQ2 位移与加法层如何在训练/推断能量、精度以及在量化或剪枝下的鲁棒性之间权衡？
• RQ3 固定位移层或对加法层进行稀疏化是否能在不牺牲精度的前提下提升能效？
• RQ4 在实际硬件（FPGA）上部署 ShiftAddNet 相较于现有的无乘法模型有哪些实际收益？

主要发现

• ShiftAddNet 在推理和训练中实现能效高，同时精度可与基于乘法的网络及先前的无乘法模型相当或更好。
• 固定的位移层可以在不牺牲精度的情况下带来显著的能量节省，在某些情形下还能提高对量化的鲁棒性。
• 在若干基准测试中，ShiftAddNet 对量化与剪枝显示出比 AdderNet 和 DeepShift 更强的鲁棒性。
• FPGA 实现提供了真实的能量测量，支持在保持性能的同时显著降低训练和推理的能量成本。
• 混合位移与加法的设计在表达能力上优于仅位移或仅加法的方法之一。