[论文解读] XNOR-Net: ImageNet Classification Using Binary Convolutional Neural Networks

Mohammad Rastegari, Vicente Ordóñez+2 more|arXiv (Cornell University)|Mar 16, 2016

Advanced Neural Network Applications参考文献 36被引用 285

一句话总结

论文提出 Binary-Weight-Networks 与 XNOR-Networks，将权重（二值化）以及 XNOR 的输入（二值化）以大幅降低内存和计算需求，同时使 ImageNet 的准确率接近全精度网络。XNOR-Nets 使基于 CPU 的资源受限设备上的实时推理成为可能。

ABSTRACT

We propose two efficient approximations to standard convolutional neural networks: Binary-Weight-Networks and XNOR-Networks. In Binary-Weight-Networks, the filters are approximated with binary values resulting in 32x memory saving. In XNOR-Networks, both the filters and the input to convolutional layers are binary. XNOR-Networks approximate convolutions using primarily binary operations. This results in 58x faster convolutional operations and 32x memory savings. XNOR-Nets offer the possibility of running state-of-the-art networks on CPUs (rather than GPUs) in real-time. Our binary networks are simple, accurate, efficient, and work on challenging visual tasks. We evaluate our approach on the ImageNet classification task. The classification accuracy with a Binary-Weight-Network version of AlexNet is only 2.9% less than the full-precision AlexNet (in top-1 measure). We compare our method with recent network binarization methods, BinaryConnect and BinaryNets, and outperform these methods by large margins on ImageNet, more than 16% in top-1 accuracy.

研究动机与目标

• 提出在资源受限设备上实现高效 CNN 的动机，同时在 ImageNet 上尽量避免显著的准确率损失。
• 提出两种二值化方案：Binary-Weight-Networks（权重为二值）和 XNOR-Networks（权重与输入均为二值）。
• 证明二值近似可以在 ImageNet 上达到有竞争力的性能，并带来显著的加速/内存节省。

提出的方法

• 使用缩放因子，用二值运算近似卷积；对于 Binary-Weight-Networks W ≈ αB，B ∈ {+1,−1}^n 且 α ∈ R^+。
• 将最优 B 表示为 sign(W)，并将 α 设为 (1/n) ||W||_1。
• 在前向和反向传播过程中对权重进行二值化以训练二值权重网络，同时使用实值权重进行更新。
• 扩展到 XNOR-Networks，其中输入与权重均为二值；用 XNOR 和按位计数近似点积，且每个子张量有 β 和 α 的缩放因子。
• 通过将输入的平均绝对值与归一化内核卷积以获得跨所有子张量的缩放因子 β，从而高效计算 β。
• 使用二值激活/梯度框架训练 XNOR-Networks，并在二值卷积后允许非二值激活以提高准确性。

实验结果

研究问题

• RQ1 使用二值权重训练的 CNN 能否在 ImageNet 上保持有竞争力的准确性？
• RQ2 完全二值网络（权重与输入）在 CPU 上是否提供显著的加速同时保持准确性？
• RQ3 在训练和推理中使用二值缩放因子与二值化有哪些权衡？
• RQ4 Binary-Weight-Networks 与 XNOR-Networks 相较于现有的先前二值化方法在大规模数据集上的表现如何？

主要发现

• 实验表明 Binary-Weight-Networks 可以在 ImageNet 上达到与全精度 AlexNet 相同的准确率。
• XNOR-Networks 显著减少内存并实现基于 CPU 的实时推理，获得显著的加速（在高精度操作下报告最高约 ~58×）。
• XNOR-Nets 在 ImageNet 的 top-1 准确性上明显优于先前的二值方法基线（BinaryConnect 和 BinaryNet），相对提升超过 16%。
• 引入权重的缩放因子（α）对准确性影响大于对输入进行缩放的 β。
• 二值梯度变体（在训练中使用二值梯度）在所报告的设置下将 top-1 准确率下降约 1.4%。
• 实验覆盖 AlexNet、ResNet-18 和 GoogLeNet 的变体，显示从全精度到二值表示的降级程度各不相同。