[论文解读] Towards Lossless Binary Convolutional Neural Networks Using Piecewise Approximation

Baozhou Zhu, Zaid Al-Ars+1 more|arXiv (Cornell University)|Aug 8, 2020

Advanced Neural Network Applications参考文献 38被引用 7

一句话总结

本文提出一种用于多分支二值卷积神经网络的分段近似（PA）方案，将全精度权重和激活值划分为多个片段，每个片段由一个缩放系数近似，从而在减少精度损失的同时支持并行位运算。该方法在 ImageNet 上相较于全精度 ResNet 的 Top-1 精度差距仅为约 1.0%，优于先前的单分支与多分支二值 CNN，且内存占用和 FLOPs 均低于 Bi-Real Net。

ABSTRACT

Binary Convolutional Neural Networks (CNNs) can significantly reduce the number of arithmetic operations and the size of memory storage, which makes the deployment of CNNs on mobile or embedded systems more promising. However, the accuracy degradation of single and multiple binary CNNs is unacceptable for modern architectures and large scale datasets like ImageNet. In this paper, we proposed a Piecewise Approximation (PA) scheme for multiple binary CNNs which lessens accuracy loss by approximating full precision weights and activations efficiently and maintains parallelism of bitwise operations to guarantee efficiency. Unlike previous approaches, the proposed PA scheme segments piece-wisely the full precision weights and activations, and approximates each piece with a scaling coefficient. Our implementation on ResNet with different depths on ImageNet can reduce both Top-1 and Top-5 classification accuracy gap compared with full precision to approximately 1.0%. Benefited from the binarization of the downsampling layer, our proposed PA-ResNet50 requires less memory usage and two times Flops than single binary CNNs with 4 weights and 5 activations bases. The PA scheme can also generalize to other architectures like DenseNet and MobileNet with similar approximation power as ResNet which is promising for other tasks using binary convolutions. The code and pretrained models will be publicly available.

研究动机与目标

• 为解决在 ImageNet 等大规模数据集上部署单分支与多分支二值 CNN 时出现的高精度下降问题。
• 开发一种方法，在保持位运算并行性以提升推理效率的同时，提升现有多种二值 CNN 的近似精度。
• 在不牺牲计算或内存效率的前提下，缩小全精度网络与二值网络之间的精度差距。
• 将该方法推广至多种架构，如 ResNet、DenseNet 和 MobileNet。

提出的方法

• PA 方案将权重和激活值的全精度范围划分为多个连续片段。
• 每个片段通过一个可学习的缩放系数进行近似，从而在前向与反向传播过程中实现高效且可微的近似。
• 该方法使用分段线性函数表示全精度值，使推理阶段能够支持并行位运算。
• 该方法集成了 1×1 下采样层的二值化，进一步降低内存占用与 FLOPs。
• 该方案通过最小化所有片段上的残差误差，采用端到端方式训练。
• 支持权重和激活值使用多个基值（例如分别使用 4 和 5 个基值），实现更精细的近似。

实验结果

研究问题

• RQ1 分段近似方案是否能在保持位运算效率的同时，减少多分支二值 CNN 的精度下降？
• RQ2 在 ImageNet 上，与单分支二值 CNN 及其他多分支二值 CNN 相比，PA 方案在精度与计算效率方面表现如何？
• RQ3 该 PA 方案在 ResNet、DenseNet 和 MobileNet 等不同 CNN 架构上的泛化能力如何？
• RQ4 在 PA 框架中，对下采样层进行二值化对内存使用与 FLOPs 的影响如何？

主要发现

• PA-ResNet50 模型在 ImageNet 上相较于全精度 ResNet 的 Top-1 和 Top-5 精度差距分别降低至约 1.0%。
• 在使用 4 个权重基值和 5 个激活基值时，PA-ResNet50 的内存占用更低，且 FLOPs 仅为 Bi-Real Net 的两倍，尽管其网络更深。
• PA 方案在精度上优于 ABC-Net 及其他多分支二值 CNN，同时保持了位运算的并行性。
• 该方法在其他架构上也表现出良好的泛化能力，在 DenseNet 和 MobileNet 上的近似性能与在 ResNet 上相当。
• PA-ResNet50 仅消耗 40.33 Mbit 的内存，且 FLOPs 相较于全精度 ResNet50 减少了近 3 倍。
• 在定制化硬件上，PA-Net 的延迟开销相比 Bi-Real Net 仅增加 4T_mul + 4T_add + T_com，表明其具备强大的效率潜力。