[论文解读] SEP-Nets: Small and Effective Pattern Networks

Zhe Li, Xiaoyu Wang+2 more|arXiv (Cornell University)|Jun 13, 2017

Advanced Neural Network Applications参考文献 6被引用 14

一句话总结

本文提出 SEP-Nets，一种小型且高效的 CNN 架构，通过仅将 $k\times k$ 卷积（$k>1$）二值化为二进制模式，同时以全精度保留 $1\times 1$ 卷积进行特征变换，从而压缩深度网络。该方法在模型尺寸范围内实现了最先进（SOTA）的准确率，1.3MB 的模型在 ImageNet 上达到 63.5% 的 top-1 准确率，优于同尺寸下的 MobileNet 和 SqueezeNet。

ABSTRACT

While going deeper has been witnessed to improve the performance of convolutional neural networks (CNN), going smaller for CNN has received increasing attention recently due to its attractiveness for mobile/embedded applications. It remains an active and important topic how to design a small network while retaining the performance of large and deep CNNs (e.g., Inception Nets, ResNets). Albeit there are already intensive studies on compressing the size of CNNs, the considerable drop of performance is still a key concern in many designs. This paper addresses this concern with several new contributions. First, we propose a simple yet powerful method for compressing the size of deep CNNs based on parameter binarization. The striking difference from most previous work on parameter binarization/quantization lies at different treatments of $1 imes 1$ convolutions and $k imes k$ convolutions ($k>1$), where we only binarize $k imes k$ convolutions into binary patterns. The resulting networks are referred to as pattern networks. By doing this, we show that previous deep CNNs such as GoogLeNet and Inception-type Nets can be compressed dramatically with marginal drop in performance. Second, in light of the different functionalities of $1 imes 1$ (data projection/transformation) and $k imes k$ convolutions (pattern extraction), we propose a new block structure codenamed the pattern residual block that adds transformed feature maps generated by $1 imes 1$ convolutions to the pattern feature maps generated by $k imes k$ convolutions, based on which we design a small network with $\sim 1$ million parameters. Combining with our parameter binarization, we achieve better performance on ImageNet than using similar sized networks including recently released Google MobileNets.

研究动机与目标

• 解决为移动和嵌入式应用设计的小型 CNN 所面临的性能下降问题。
• 在不牺牲准确率的前提下减小模型尺寸和计算成本，尤其适用于资源受限设备。
• 探索 $1\times 1$ 卷积（特征变换）与 $k\times k$ 卷积（模式提取）之间的功能差异，以指导网络压缩。
• 设计一种紧凑高效的网络架构，采用一种新型的模式残差块，将二值化的模式特征与 $1\times 1$ 卷积的变换特征相结合。
• 证明选择性二值化（仅 $k\times k$ 卷积）相比全网络量化或二值化，能获得更优的准确率-紧凑性权衡。

提出的方法

• 提出一种选择性二值化策略：仅 $k\times k$ 卷积核（$k>1$）被二值化为二进制模式，而 $1\times 1$ 卷积保持全精度。
• 引入模式残差块，将 $1\times 1$ 卷积的输出（变换特征）与二值化 $k\times k$ 卷积的输出（模式特征）相加，模仿残差学习机制。
• 设计一个参数量约为 100 万的小型轻量级网络（SEP-Net），以模式残差块作为核心构建单元。
• 对 $1\times 1$ 滤波器应用额外的 8 位量化，以进一步减小模型尺寸，同时保持性能。
• 通过硬件效率设计，将二值化的 $k\times k$ 卷积分配给 FPGA 上的逻辑块，将 $1\times 1$ 卷积分配给 DSP 单元。
• 在 ImageNet 和 CIFAR-10 上训练并评估模型，与 SqueezeNet 和 MobileNet 进行性能和尺寸对比。

实验结果

研究问题

• RQ1 与全网络量化相比，仅对 $k\times k$ 卷积进行选择性二值化是否能在显著减小模型尺寸的同时保持性能？
• RQ2 将 $1\times 1$ 卷积（变换）与 $k\times k$ 卷积（模式提取）的角色分离，是否能提升网络效率与准确率？
• RQ3 一种新型的模式残差块，融合二值化模式特征与变换特征，是否能在小型网络中优于标准残差块？
• RQ4 与最先进小型模型（如 MobileNet 和 SqueezeNet）相比，SEP-Net 这类紧凑网络在准确率与尺寸之间的权衡如何？
• RQ5 对 $1\times 1$ 滤波器进行额外的 8 位量化，能在多大程度上进一步减小模型尺寸而不造成显著的准确率损失？

主要发现

• 所提出的模式二值化方法在将 GoogLeNet 的 $3\times 3$ 和 $5\times 5$ 滤波器二值化后，参数量减少了 44.6%，且准确率下降极小。
• 1.3MB 的 SEP-Net 模型在 ImageNet 上达到 63.5% 的 top-1 准确率，性能与 5.2MB 的 MobileNet 相当，但模型小得多。
• 参数量为 170 万的更大版本 SEP-Net 达到 66.7% 的 top-1 准确率，优于同尺寸下的 MobileNet（63.7%）。
• 参数量为 130 万的 SEP-Net-R 模型达到 65.8% 的 top-1 准确率，超过同尺寸下的 SqueezeNet（60.4%）和 MobileNet（63.7%）。
• 模式残差块使小型网络能够实现有效的特征学习，即使在激进压缩下仍保持高性能。
• 该方法具有硬件友好性，因为二值化的 $k\times k$ 卷积与全精度的 $1\times 1$ 卷积可被高效映射到 FPGA 的逻辑块与 DSP 块上。