[论文解读] SCAN: A Scalable Neural Networks Framework Towards Compact and Efficient Models

Linfeng Zhang, Zhanhong Tan+4 more|arXiv (Cornell University)|May 27, 2019

Advanced Neural Network Applications被引用 32

一句话总结

SCAN 在中间特征上训练浅层分类器，利用自蒸馏与注意力，实现跨骨干的可扩展、按样本进行推理的压缩与加速。它在浅层分类器上提升准确率，并在最小开销下实现总体加速。

ABSTRACT

Remarkable achievements have been attained by deep neural networks in various applications. However, the increasing depth and width of such models also lead to explosive growth in both storage and computation, which has restricted the deployment of deep neural networks on resource-limited edge devices. To address this problem, we propose the so-called SCAN framework for networks training and inference, which is orthogonal and complementary to existing acceleration and compression methods. The proposed SCAN firstly divides neural networks into multiple sections according to their depth and constructs shallow classifiers upon the intermediate features of different sections. Moreover, attention modules and knowledge distillation are utilized to enhance the accuracy of shallow classifiers. Based on this architecture, we further propose a threshold controlled scalable inference mechanism to approach human-like sample-specific inference. Experimental results show that SCAN can be easily equipped on various neural networks without any adjustment on hyper-parameters or neural networks architectures, yielding significant performance gain on CIFAR100 and ImageNet. Codes will be released on github soon.

研究动机与目标

• 鉴于模型规模和计算需求日益增长，激发对可扩展、边缘友好的神经网络的需求。
• 提出 SCAN 将网络划分为若干部分，并加入带注意力和蒸馏的浅层分类器。
• 通过阈值化的可扩展执行实现样本特定的推理，以在准确性和速度之间取得平衡。
• 证明在不改变基础架构或超参数的前提下，SCAN 在 CIFAR100 和 ImageNet 上提升准确率并加速计算。

提出的方法

• 将骨干网络划分为三个部分：骨干、注意力模块和浅层分类器。
• 在中间特征后附加一个瓶颈层和一个全连接层以形成浅层分类器。
• 在训练期间使用自蒸馏将知识从最深的分类器传递到浅层分类器。
• 加入简化的注意力模块，为浅层分类器生成特定的特征。
• 应用基于阈值的可扩展推理来决定何时使用浅层分类器与更深层分类器，阈值通过遗传算法搜索。
• 在需要时可选地对预测进行集成以提升准确性。

实验结果

研究问题

• RQ1 SCAN 将自蒸馏与注意力相结合，是否能在不修改骨干网络的情况下提高浅层分类器的准确性？
• RQ2 基于阈值的可扩展推理能否在整个数据集与架构上实现有意义的加速且准确率损失可忽略？
• RQ3 SCAN 在标准基准（CIFAR100、ImageNet）在多种骨干网络（VGG、ResNet、Wide ResNet）上的表现如何？

主要发现

• SCAN 在 CIFAR100 的平均加速 2.17x、压缩 3.20x，且不损失精度，并且浅层分类器的绝对准确率提升最高可达 4.05%。
• 在 CIFAR100 上，越深或越宽的网络从 SCAN 中在准确性和加速方面受益越大。
• 在 ImageNet 上，SCAN 平均带来 1.26% 的准确率提升，且深度敏感的收益（ResNet50 上最大 1.41%）。
• 可扩展推理相对于仅使用单一浅层分类器带来更高的加速，例如在 CIFAR100 上无精度损失可达 4.41x，在更深网络上可达 6.23x。
• 注意力模块为浅层分类器提供显著的精度提升（例如 ResNet50 在 CIFAR100 情况下分别提升 5.46%、4.13%、5.16%）。
• 可视化显示注意力聚焦于有信息的区域（如动物躯干），并且从浅层分类器的局部特征转向更全局的纹理在更深的网络中。