[论文解读] Structured Binary Neural Networks for Accurate Image Classification and Semantic Segmentation

Bohan Zhuang, Chunhua Shen+3 more|arXiv (Cornell University)|Nov 22, 2018

Advanced Neural Network Applications参考文献 53被引用 16

一句话总结

本文提出 Group-Net，一种结构化的二值神经网络，通过将全精度卷积层分解为多个并行的二值分支，以在图像分类和语义分割任务中提升准确率与效率。通过学习组间连接并集成任务特定结构（如空洞空间金字塔池化），Group-Net 在二值网络中实现了最先进性能，同时显著降低计算成本。

ABSTRACT

In this paper, we propose to train convolutional neural networks (CNNs) with both binarized weights and activations, leading to quantized models specifically} for mobile devices with limited power capacity and computation resources. Previous works on quantizing CNNs seek to approximate the floating-point information using a set of discrete values, which we call value approximation, but typically assume the same architecture as the full-precision networks. In this paper, however, we take a novel 'structure approximation' view for quantization---it is very likely that a different architecture may be better for best performance. In particular, we propose a `network decomposition' strategy, named extbf{Group-Net}, in which we divide the network into groups. In this way, each full-precision group can be effectively reconstructed by aggregating a set of homogeneous binary branches. In addition, we learn effective connections among groups to improve the representational capability. Moreover, the proposed Group-Net shows strong generalization to other tasks. For instance, we extend Group-Net for highly accurate semantic segmentation by embedding rich context into the binary structure. Experiments on both classification and semantic segmentation tasks demonstrate the superior performance of the proposed methods over various popular architectures. In particular, we outperform the previous best binary neural networks in terms of accuracy and major computation savings.

研究动机与目标

• 解决由于极端权重与激活量化导致的二值神经网络（BNNs）性能下降问题。
• 通过提出一种新型的结构近似范式，克服量化过程中数值近似的局限性。
• 设计一种灵活且任务自适应的二值架构，以比标准量化方法更好地保留高层结构信息。
• 在不增加计算成本的前提下，将 BNN 扩展至复杂任务（如语义分割）。
• 证明结构化设计可超越标准量化方法，同时保持硬件效率。

提出的方法

• 提出 Group-Net，一种网络分解策略，将全精度层划分为多个组，每组由同质的二值分支近似。
• 引入融合门机制，以学习有效的组间连接，增强模型的表征能力。
• 将任务特定的归纳偏置（如空洞空间金字塔池化，ASPP）直接嵌入二值主干网络中，用于语义分割任务。
• 使用可微的直通估计器（STE）实现通过非可微二值化操作的梯度反向传播。
• 采用均匀量化并结合截断函数，限制激活值的动态范围，降低低比特激活的量化误差。
• 通过支持混合精度设置，允许使用更高比特宽度的激活（如 2–4 比特），同时保持权重为二值以提升效率。

实验结果

研究问题

• RQ1 重构后的二值架构是否能在 BNN 中超越基于数值近似的标准量化方法？
• RQ2 通过引入可学习的组间连接，将网络分解为二值组是否能提升图像分类与分割任务的性能？
• RQ3 能否有效将任务特定的归纳偏置（如 ASPP）嵌入二值网络架构中，以提升分割准确率？
• RQ4 每组中二值基的数量如何影响 Group-Net 的准确率与模型容量？
• RQ5 Group-Net 是否能在不同网络架构（如 ResNet、AlexNet）与不同任务（分类、分割）之间实现良好泛化？

主要发现

• 在使用二值权重与 4 比特激活的 ResNet-50 上，Group-Net 在 ImageNet 上达到 76.0% 的 top-1 准确率，与全精度模型性能相当。
• 在 ResNet-18 上，Group-Net 使用二值权重与 4 比特激活，达到 70.1% 的 top-1 准确率，比基线方法 LBD 提升 10.0 个百分点。
• 当每组使用 5 个二值基且激活为 4 比特时，Group-Net 在 ResNet-18 上达到 70.4% 的 top-1 准确率，仅比全精度模型低 0.7%。
• 在语义分割任务中，将 ASPP 嵌入二值主干网络可提升性能，且不增加计算成本。
• 该方法具有良好的泛化能力：在 ResNet-18 上使用二值权重与 2 比特激活，Group-Net 达到 69.6% 的 top-1 准确率，仅比全精度模型低 0.1%。
• 实验表明，从头训练比微调效果更优，且模型在不同网络深度与比特宽度下均表现出强鲁棒性。