[论文解读] RBCN: Rectified Binary Convolutional Networks for Enhancing the Performance of 1-bit DCNNs

Chunlei Liu, Wenrui Ding+6 more|arXiv (Cornell University)|Aug 21, 2019

Advanced Neural Network Applications参考文献 18被引用 5

一句话总结

本文提出了一种新型框架——修正二值卷积神经网络（RBCN），通过生成对抗网络（GAN）引导全精度对应网络的监督，来提升1-bit深度卷积神经网络（DCNNs）的性能。通过端到端地联合优化全精度卷积核与特征图，RBCN在ImageNet和目标跟踪基准上均达到最先进性能，其在top-1准确率上相比XNOR-Net和Bi-Real Net等方法最高提升7.9%，在跟踪准确率上提升7%。

ABSTRACT

Binarized convolutional neural networks (BCNNs) are widely used to improve memory and computation efficiency of deep convolutional neural networks (DCNNs) for mobile and AI chips based applications. However, current BCNNs are not able to fully explore their corresponding full-precision models, causing a significant performance gap between them. In this paper, we propose rectified binary convolutional networks (RBCNs), towards optimized BCNNs, by combining full-precision kernels and feature maps to rectify the binarization process in a unified framework. In particular, we use a GAN to train the 1-bit binary network with the guidance of its corresponding full-precision model, which significantly improves the performance of BCNNs. The rectified convolutional layers are generic and flexible, and can be easily incorporated into existing DCNNs such as WideResNets and ResNets. Extensive experiments demonstrate the superior performance of the proposed RBCNs over state-of-the-art BCNNs. In particular, our method shows strong generalization on the object tracking task.

研究动机与目标

• 为缩小现有方法中1-bit二值CNN与全精度对应模型之间的性能差距，该差距目前仍然显著。
• 通过利用全精度模型中除权重或激活之外的多线索信息，提升1-bit DCNN的表征能力。
• 开发一种可泛化的端到端训练框架，将全精度卷积核与特征图整合进二值化过程。
• 通过优化二值网络训练，实现高性能、低复杂度的模型，适用于移动和嵌入式AI应用。

提出的方法

• 提出一种基于GAN的训练框架，其中1-bit二值网络作为生成器，全精度模型提供真实特征图。
• 判别器被训练以区分来自全精度模型的真实特征图与来自二值生成器的虚假特征图，从而迫使生成器生成更具真实感的表征。
• 生成器网络不仅最小化分类损失，还被优化以欺骗判别器，实现更优的特征分布对齐。
• 该方法引入可学习的缩放矩阵C和C*，以优化二值化后的特征图，实现对全精度特征更灵活、更精确的近似。
• 训练过程中使用全精度卷积核指导二值化过程，但在推理阶段丢弃，仅保留二值化权重与缩放矩阵。
• 该框架具有通用性，可无需架构修改地应用于ResNet和WideResNet等多种网络结构。

实验结果

研究问题

• RQ1 基于GAN的知识蒸馏框架是否能有效利用全精度特征图与卷积核，提升1-bit DCNN的性能？
• RQ2 联合优化全精度与二值化表征是否能带来比标准知识蒸馏或权重初始化更好的泛化性能？
• RQ3 所提方法是否能在图像分类与目标跟踪任务上均实现SOTA性能，且计算开销极低？
• RQ4 在训练过程中引入全精度特征图，对1-bit网络的收敛性与鲁棒性有何影响？

主要发现

• 在ImageNet上，RBCN使用ResNet18实现59.5%的top-1准确率，相比XNOR-Net（51.2%）提升8.3个百分点，相比Bi-Real Net（56.4%）提升3.1个百分点。
• 在ImageNet验证集上，RBCN相比PCNN提升2.2%，相比ABC-Net提升17.1%，表明其在不同二值网络设计中均具备强大的泛化能力。
• 在目标跟踪任务中，基于RBCN的RB-SF（RBCN-SiamFC）在GOT-10K数据集上达到32.7%的AO，相比XNOR提升7.6%，几乎与全精度SiamFC持平。
• 与全精度ResNet18相比，该方法将内存使用减少11.10倍，推理速度提升10.86倍，同时保持高准确率。
• 训练曲线显示，RBCN收敛速度优于XNOR，表明其优化稳定性与效率更高。
• 所提方法中可学习缩放矩阵C与C*带来的计算开销可忽略不计，具有良好的实际部署可行性。