[论文解读] Training Deep Neural Networks Using Posit Number System

Jinming Lu, Siyuan Lu+5 more|arXiv (Cornell University)|Sep 6, 2019

Numerical Methods and Algorithms参考文献 14被引用 6

一句话总结

该论文提出了一种使用正态数系统（posit number system）进行深度神经网络训练的新方法，实现了在 ImageNet 上使用 16 位正态数训练且无精度损失。该方法引入了预热策略和逐层缩放以稳定训练过程，并设计了一款能效更高的正态数乘加（MAC）硬件单元，与 FP32 相比，功耗降低高达 83%，面积减少 76%。

ABSTRACT

With the increasing size of Deep Neural Network (DNN) models, the high memory space requirements and computational complexity have become an obstacle for efficient DNN implementations. To ease this problem, using reduced-precision representations for DNN training and inference has attracted many interests from researchers. This paper first proposes a methodology for training DNNs with the posit arithmetic, a type- 3 universal number (Unum) format that is similar to the floating point(FP) but has reduced precision. A warm-up training strategy and layer-wise scaling factors are adopted to stabilize training and fit the dynamic range of DNN parameters. With the proposed training methodology, we demonstrate the first successful training of DNN models on ImageNet image classification task in 16 bits posit with no accuracy loss. Then, an efficient hardware architecture for the posit multiply-and-accumulate operation is also proposed, which can achieve significant improvement in energy efficiency than traditional floating-point implementations. The proposed design is helpful for future low-power DNN training accelerators.

研究动机与目标

• 为了利用正态数系统实现低精度训练深度神经网络，该系统相较于传统浮点格式具有更优的精度-动态范围权衡。
• 为解决使用低精度正态数格式时早期训练阶段的不稳定性和精度挑战。
• 设计一种面向硬件优化的正态数乘加（MAC）单元，以实现高效的 DNN 加速器设计。
• 证明正态数运算可在显著降低计算和内存成本的前提下实现完整模型精度。

提出的方法

• 首先采用 FP32 进行预热训练阶段，以稳定模型权重，随后切换至 16 位或 8 位正态数运算。
• 基于对数域数据分布推导出逐层缩放因子，以匹配正态数格式的动态范围和精度特性。
• 采用定量准则为每一层选择最优指数位数（es），以在动态范围与精度之间取得平衡。
• 提出一种面向正态数 MAC 的优化硬件架构，采用延迟减少的解码器和编码器，利用复制的左移器以消除关键路径加法器。
• 使用 Verilog HDL 实现正态数 MAC 单元，并在 TSMC 28nm 工艺下进行综合，与 FP32 MAC 单元进行性能和面积对比。
• 该设计集成了正态数到 FP 的解码器、FP MAC 单元和 FP 到正态数的编码器，通过优化降低延迟和功耗。

实验结果

研究问题

• RQ1 是否可以使用 16 位正态数运算成功训练深度神经网络，且不造成精度下降？
• RQ2 在使用低精度正态数格式时，如何缓解早期训练阶段的高敏感性问题？
• RQ3 何种缩放策略可确保 DNN 层的数据分布与正态数系统的精度特性实现最优对齐？
• RQ4 如何最小化正态数运算的硬件开销，以实现高效的 DNN 加速器集成？
• RQ5 将 FP32 MAC 单元替换为优化后的正态数 MAC 单元后，可获得哪些性能和能效提升？

主要发现

• 所提方法可在 ImageNet 上使用 16 位正态数运算成功训练 ResNet-18，且与 FP32 相比无精度损失。
• 采用 FP32 预热后切换至 16 位正态数训练的策略，可确保模型收敛与稳定性。
• 基于对数域数据分布的逐层缩放因子显著提升了训练稳定性和精度。
• 优化后的正态数 MAC 硬件单元相较 FP32 MAC 单元，功耗降低 22% 至 83%，面积减少 6% 至 76%。
• 解码器和编码器架构分别实现 15% 至 30% 和 25% 至 35% 的速度提升，降低了其对总 MAC 延迟的影响。
• 正态数 MAC 设计在低功耗 DNN 训练加速器中展现出强大潜力，数据通信开销最高可降低 4 倍。