[论文解读] Structured Binary Neural Networks for Image Recognition

Bohan Zhuang, Chunhua Shen+4 more|arXiv (Cornell University)|Sep 22, 2019

Advanced Neural Network Applications被引用 7

一句话总结

本文提出GroupNet，一种结构化近似方法，通过将全精度网络分解为多个组，每组由多个同质二值分支近似，实现高精度二值神经网络（BNNs）的训练。该方法支持动态、输入相关的稀疏二值分支执行，在图像分类、语义分割和目标检测任务上实现SOTA性能，同时相比定点量化方法具有更小的内存占用和更优的加速效果。

ABSTRACT

We propose methods to train convolutional neural networks (CNNs) with both binarized weights and activations, leading to quantized models that are specifically friendly to mobile devices with limited power capacity and computation resources. Previous works on quantizing CNNs often seek to approximate the floating-point information using a set of discrete values, which we call value approximation, typically assuming the same architecture as the full-precision networks. Here we take a novel "structure approximation" view of quantization -- it is very likely that different architectures designed for low-bit networks may be better for achieving good performance. In particular, we propose a "network decomposition" strategy, termed Group-Net, in which we divide the network into groups. Thus, each full-precision group can be effectively reconstructed by aggregating a set of homogeneous binary branches. In addition, we learn effective connections among groups to improve the representation capability. Moreover, the proposed Group-Net shows strong generalization to other tasks. For instance, we extend Group-Net for accurate semantic segmentation by embedding rich context into the binary structure. Furthermore, for the first time, we apply binary neural networks to object detection. Experiments on both classification, semantic segmentation and object detection tasks demonstrate the superior performance of the proposed methods over various quantized networks in the literature. Our methods outperform the previous best binary neural networks in terms of accuracy and computation efficiency.

研究动机与目标

• 为解决基于值近似的量化在二值神经网络中的局限性，后者在图像分类之外的复杂视觉任务中表现不佳。
• 探索结构化近似作为传统值近似之外的替代方案，提升低比特网络设计的架构灵活性。
• 提出一种分组分解策略，使全精度模型能通过多个二值基函数有效重建。
• 通过基于输入特征的二值分支条件执行，增强模型容量，同时保持计算效率。
• 将二值神经网络扩展至密集预测任务，如语义分割和目标检测，这些任务中先前的BNNs表现有限。

提出的方法

• 提出GroupNet，一种分组分解策略，将全精度网络划分为多个组，每组由一组同质二值分支近似。
• 采用端到端训练优化每组的二值基函数，实现对原始网络表征能力的有效重建。
• 引入动态条件计算机制，仅根据输入特征激活每组中的一小部分二值分支，提升模型容量而不增加FLOPs。
• 采用内存池化策略，结合预定义的张量生命周期映射，通过跨分支复用缓冲区，最小化运行时内存开销。
• 利用编译阶段的内存分配策略，采用单一静态内存池，降低推理过程中的内存分配延迟。
• 将GroupNet框架应用于语义分割，通过在二值结构中集成上下文特征，并扩展至目标检测任务。

实验结果

研究问题

• RQ1 通过分组分解实现的结构化近似是否优于传统值近似的二值神经网络训练方法？
• RQ2 基于分组的二值网络架构是否能在图像分类、语义分割和目标检测任务上达到SOTA性能？
• RQ3 稀疏二值分支的动态执行如何在保持计算效率的同时提升模型容量？
• RQ4 与定点量化方法相比，GroupNet在运行时内存消耗和加速效果之间有何权衡？
• RQ5 二值神经网络能否有效推广至语义分割和目标检测等密集预测任务？

主要发现

• GroupNet在ImageNet分类任务上优于现有量化网络，使用ResNet-18时达到72.1%的top-1准确率。
• 该方法在语义分割任务中表现良好，使用二值网络在PASCAL VOC上实现71.3%的平均IoU，展现出在密集预测任务中的强大性能。
• 在COCO目标检测任务中，GroupNet在掩码R-CNN上实现28.5%的AP（掩码AP），表明其在复杂检测任务中的可行性。
• GroupNet的运行时内存消耗为11.24 MB（base=4），显著低于全精度模型（83.14 MB），且与2-bit定点量化（6.24 MB）相当，仅因参数存储带来适度增加。
• 加速代码在GPU平台上实现显著加速，GroupNet因优化的内存复用和减少的内存访问开销，相比定点量化方法展现出更优的运行时效率。
• 内存池化策略通过在编译时预确定张量缓冲区映射，将运行时内存分配时间降至接近零。