[论文解读] Ternary Residual Networks

Abhisek Kundu, Kunal Banerjee+5 more|arXiv (Cornell University)|Jul 15, 2017

Advanced Neural Network Applications参考文献 23被引用 6

一句话总结

本文提出了一种三元残差网络，通过基于扰动理论指导，在敏感层添加低精度残差连接，以提升亚8比特深度神经网络的性能。该方法在使用ResNet-101时，模型大小减少1.6倍、乘法运算减少26倍，且在功耗-性能方面相比8-8比特网络提升最多2倍，仅导致约1%的精度下降，同时可通过控制残差连接实现实时精度动态调节。

ABSTRACT

Sub-8-bit representation of DNNs incur some discernible loss of accuracy despite rigorous (re)training at low-precision. Such loss of accuracy essentially makes them equivalent to a much shallower counterpart, diminishing the power of being deep networks. To address this problem of accuracy drop we introduce the notion of extit{residual networks} where we add more low-precision edges to sensitive branches of the sub-8-bit network to compensate for the lost accuracy. Further, we present a perturbation theory to identify such sensitive edges. Aided by such an elegant trade-off between accuracy and compute, the 8-2 model (8-bit activations, ternary weights), enhanced by ternary residual edges, turns out to be sophisticated enough to achieve very high accuracy ($\sim 1\%$ drop from our FP-32 baseline), despite $\sim 1.6 imes$ reduction in model size, $\sim 26 imes$ reduction in number of multiplications, and potentially $\sim 2 imes$ power-performance gain comparing to 8-8 representation, on the state-of-the-art deep network ResNet-101 pre-trained on ImageNet dataset. Moreover, depending on the varying accuracy requirements in a dynamic environment, the deployed low-precision model can be upgraded/downgraded on-the-fly by partially enabling/disabling residual connections. For example, disabling the least important residual connections in the above enhanced network, the accuracy drop is $\sim 2\%$ (from FP32), despite $\sim 1.9 imes$ reduction in model size, $\sim 32 imes$ reduction in number of multiplications, and potentially $\sim 2.3 imes$ power-performance gain comparing to 8-8 representation. Finally, all the ternary connections are sparse in nature, and the ternary residual conversion can be done in a resource-constraint setting with no low-precision (re)training.

研究动机与目标

• 解决尽管经过低精度微调，亚8比特DNN仍存在显著精度下降的问题。
• 在无需完整微调的情况下，实现在资源受限环境中的高精度、低精度推理。
• 通过启用/禁用残差连接，实现动态、实时的精度调节能力。
• 开发一种扰动理论，用于识别需针对性插入残差边的关键网络分支。
• 与8-8比特精度基线相比，实现更优的功耗-性能权衡。

提出的方法

• 该方法引入三元残差连接——在亚8比特网络的敏感分支中添加低精度连接，以补偿精度损失。
• 开发了一种扰动理论，用于识别在最小计算成本下能实现最大精度提升的层。
• 采用计算感知的容差选择方法，为各层扰动阈值（εₖ）设定，以在精度与效率之间实现最优平衡。
• 通过固定点量化（块大小N，例如N=64）构建三元残差模块，实现稀疏且高效的推理。
• 通过选择性地启用或禁用残差连接，实现在部署后对模型进行动态升级或降级。
• 从FP-32到三元残差网络的整个转换过程无需低精度微调，适用于资源受限环境的部署。

实验结果

研究问题

• RQ1 通过在敏感网络分支中添加低精度残差连接，亚8比特DNN能否实现接近FP32的精度？
• RQ2 如何利用扰动理论指导预训练网络中残差边插入的最佳位置选择？
• RQ3 与8-8比特精度基线相比，三元残差网络在功耗-性能和模型效率方面有何提升？
• RQ4 能否通过在推理时启用/禁用残差连接，实现对低精度模型精度的动态调节？
• RQ5 是否可行将全精度DNN转换为三元残差网络而无需低精度微调？

主要发现

• 在ResNet-101上，8-2模型（8比特激活，三元权重）通过添加三元残差边，仅导致约1%的精度下降，接近FP32基线。
• 增强后的8-2模型使模型大小减少1.6倍，乘法运算减少26倍，且在功耗-性能方面相比8-8表示法最多提升2倍。
• 禁用最重要性最低的残差连接后，模型大小减少1.9倍，乘法运算减少32倍，精度仅比FP32下降约2%。
• 该方法可通过根据运行时精度需求动态启用或禁用残差连接，实现实时精度调节。
• 三元残差网络的转换无需低精度微调，适用于资源受限环境的部署。
• 计算感知的扰动选择在保持约1%精度损失的同时减少整体计算量，对于块大小N=64，功耗-性能增益估计为X∼5.5。