[论文解读] XNOR-Net++: Improved Binary Neural Networks

Adrian Bulat, Georgios Tzimiropoulos|arXiv (Cornell University)|Sep 30, 2019

Advanced Neural Network Applications参考文献 42被引用 119

一句话总结

XNOR-Net++ 学习一个单一的判别性缩放因子用于二值权重和激活，并探索因子形状以提升准确率；在相同预算内使用 ResNet-18 在 ImageNet 上实现高达 6% 的绝对增益。

ABSTRACT

This paper proposes an improved training algorithm for binary neural networks in which both weights and activations are binary numbers. A key but fairly overlooked feature of the current state-of-the-art method of XNOR-Net is the use of analytically calculated real-valued scaling factors for re-weighting the output of binary convolutions. We argue that analytic calculation of these factors is sub-optimal. Instead, in this work, we make the following contributions: (a) we propose to fuse the activation and weight scaling factors into a single one that is learned discriminatively via backpropagation. (b) More importantly, we explore several ways of constructing the shape of the scale factors while keeping the computational budget fixed. (c) We empirically measure the accuracy of our approximations and show that they are significantly more accurate than the analytically calculated one. (d) We show that our approach significantly outperforms XNOR-Net within the same computational budget when tested on the challenging task of ImageNet classification, offering up to 6\% accuracy gain.

研究动机与目标

• 提高大规模数据集（如 ImageNet）上全二值化网络的准确性。
• 提出用于二值卷积的新型、经判别学习的融合缩放因子，以替代解析缩放。
• 探索缩放因子 Gamma 的各种形状，以在表达能力与计算预算之间取得平衡。
• 证明该方法在同一预算下对浅层与深层网络均能提升表现。
• 量化相对于现有二值网络方法在准确率与效率上的提升。

提出的方法

• 将激活与权重缩放因子融合为一个通过反向传播学习的 Gamma。
• 提出四种 Gamma 构造以在保持测试时成本固定的前提下改变表达能力（情形 1–4）。
• 证明经判别学习的 Gamma 比解析缩放能降低二值卷积与实值卷积之间的重构误差。
• 在 ImageNet 上使用 AlexNet 与 ResNet-18 进行全二值化评估。
• 提供与先前 XNOR-Net 相比的理论加速与存储效率的对比分析。

实验结果

研究问题

• RQ1 学习单一判别性缩放因子 Gamma 是否能超过 XNOR-Net 的解析缩放？
• RQ2 不同 Gamma 形状（情形 1–4）对准确率与参数效率的影响？
• RQ3 在二值化下，改进的训练方法对网络架构（如 AlexNet 与 ResNet-18）是否具有普适性？
• RQ4 在固定预算下，与 XNOR-Net 相比，XNOR-Net++ 的实际加速与内存收益是多少？

主要发现

• XNOR-Net++ 在 ImageNet 上使用 ResNet-18 实现相对于最先进的 XNOR-Net 的最高 6% 绝对 Top-1 提升。
• 学习单一 Gamma 的方法通过显著降低二值卷积与实值卷积之间的重构误差，优于解析缩放。
• 在 Gamma 形状中，情形 4（alpha⊗beta⊗gamma）在所提出的构造中提供了最佳准确率。
• 采用 XNOR-Net++ 的双二值化网络在 ImageNet 上超越了先前的二值化网络，具有竞争力的效率与显著的内存节省（约 64 倍）。
• 实证结果表明所提出的 Gamma 构造相较解析基线具有更低的 L1 重构误差。