[论文解读] Training Compact Neural Networks with Binary Weights and Low Precision Activations

Bohan Zhuang, Chunhua Shen+1 more|arXiv (Cornell University)|Aug 8, 2018

Advanced Neural Network Applications参考文献 11被引用 10

一句话总结

该论文提出 Group-Net，一种紧凑的神经网络架构，通过使用二值权重和低精度激活，实现在移动设备上的高效推理。通过采用多分支低精度基的分组特征近似策略，实现了近乎无损的量化，并在 ImageNet 上超越了先前的二值化网络，在 ResNet-18 和 ResNet-50 上实现 FLOPs 超过 5 倍的减少。

ABSTRACT

In this paper, we propose to train a network with binary weights and low-bitwidth activations, designed especially for mobile devices with limited power consumption. Most previous works on quantizing CNNs uncritically assume the same architecture, though with reduced precision. However, we take the view that for best performance it is possible (and even likely) that a different architecture may be better suited to dealing with low precision weights and activations. Specifically, we propose a "network expansion" strategy in which we aggregate a set of homogeneous low-precision branches to implicitly reconstruct the full-precision intermediate feature maps. Moreover, we also propose a group-wise feature approximation strategy which is very flexible and highly accurate. Experiments on ImageNet classification tasks demonstrate the superior performance of the proposed model, named Group-Net, over various popular architectures. In particular, with binary weights and activations, we outperform the previous best binary neural network in terms of accuracy as well as saving more than 5 times computational complexity on ImageNet with ResNet-18 and ResNet-50.

研究动机与目标

• 解决在能源和内存资源严格受限的移动设备上部署高精度、低复杂度神经网络的挑战。
• 克服现有低精度网络中仅优化局部重建而造成的累积量化误差导致的精度下降问题。
• 设计一种专为二值化和低精度推理量身定制的新网络架构，而非直接对全精度模型进行量化。
• 实现端到端训练，联合优化特征重建与最终分类损失，从而在泛化能力上优于逐层量化方法。
• 开发一种灵活且硬件友好的结构，支持并行推理，并可应用于 ResNet 和 VGGNet 等多种架构。

提出的方法

• 提出一种网络扩展策略，即每组使用多个同质的低精度分支，以隐式重建全精度特征图。
• 引入一种分组特征近似方法，将中间特征建模为二值基的加权和，实现精确且可微分的重建。
• 通过可学习的聚合机制（使用可训练系数 $\theta_m^p$）组合每组内多个低精度分支的输出。
• 采用可微分的量化函数对权重（公式 1）和激活（公式 2）进行处理，使反向传播能够穿过量化过程。
• 在每个低精度卷积后应用批量归一化和激活量化，并在传递到下一组前进行最终输出量化。
• 使用 SGD 对整个网络进行端到端训练，分别优化基权重 $\mathbf{w}_{mi}^p$、二值权重 $\mathbf{b}_{mi}^p$ 和聚合系数 $\theta_m^p$。

实验结果

研究问题

• RQ1 经过重构的网络架构，若采用低精度组件，是否能在准确率和效率上优于直接对全精度模型进行量化？
• RQ2 与逐层量化相比，分组特征近似策略是否能有效减少二值化神经网络中的量化误差累积？
• RQ3 每组中低精度基的数量如何影响准确率与计算复杂度之间的权衡？
• RQ4 所提方法是否能在不同网络架构（包括 AlexNet 等普通网络和 ResNet 等残差网络）上实现良好泛化？
• RQ5 在 ImageNet 上，该模型在保持高准确率的同时，能否将 FLOPs 减少 5 倍以上，且使用二值权重和低比特激活？

主要发现

• Group-Net 在 ImageNet 上使用二值权重和激活实现了 57.3% 的 top-1 准确率，优于此前最佳的二值化网络。
• 在 ResNet-18 和 ResNet-50 上，所提方法在保持或提升准确率的同时，将 FLOPs 减少超过 5 倍，优于全精度基线模型。
• 分组策略显著优于逐层量化，在 AlexNet 上实现 3% 的 top-1 准确率提升（57.3% vs. 54.2%），且收敛更快。
• 该方法在多种架构上均表现出良好泛化能力，涵盖普通网络（AlexNet）和残差网络（ResNet-18、ResNet-50），展现出广泛适用性。
• 消融实验表明，增加基的数量可提升准确率，且在低精度设置下，分组方法比逐层量化更具鲁棒性。