[论文解读] Training convolutional neural networks with cheap convolutions and online distillation

Jiao Xie, Shaohui Lin+2 more|arXiv (Cornell University)|Sep 28, 2019

Advanced Neural Network Applications被引用 7

一句话总结

本论文提出了一种新颖的在线蒸馏（OD）方法，通过使用低成本卷积（如深度可分离、分组和移位卷积）对卷积神经网络（CNNs）进行压缩，而无需重新设计网络架构。通过在训练过程中使用低成本卷积构建学生网络，并动态生成强教师网络进行在线特征拼接与互学习，该方法在仅造成极小精度损失的情况下实现了最先进的压缩效果，在ImageNet上将FLOPs降低至原来的1/5.66，同时保持了高精度。

ABSTRACT

The large memory and computation consumption in convolutional neural networks (CNNs) has been one of the main barriers for deploying them on resource-limited systems. To this end, most cheap convolutions (e.g., group convolution, depth-wise convolution, and shift convolution) have recently been used for memory and computation reduction but with the specific architecture designing. Furthermore, it results in a low discriminability of the compressed networks by directly replacing the standard convolution with these cheap ones. In this paper, we propose to use knowledge distillation to improve the performance of the compact student networks with cheap convolutions. In our case, the teacher is a network with the standard convolution, while the student is a simple transformation of the teacher architecture without complicated redesigning. In particular, we propose a novel online distillation method, which online constructs the teacher network without pre-training and conducts mutual learning between the teacher and student network, to improve the performance of the student model. Extensive experiments demonstrate that the proposed approach achieves superior performance to simultaneously reduce memory and computation overhead of cutting-edge CNNs on different datasets, including CIFAR-10/100 and ImageNet ILSVRC 2012, compared to the state-of-the-art CNN compression and acceleration methods. The codes are publicly available at https://github.com/EthanZhangYC/OD-cheap-convolution.

研究动机与目标

• 解决大型CNN在资源受限设备上的高内存与计算成本问题。
• 提升使用低成本卷积的紧凑型学生网络性能，此类网络在从零开始训练时常因判别能力弱而表现不佳。
• 通过实现学生与动态生成教师网络之间的在线互学习，消除知识蒸馏中对预训练教师和多阶段训练的依赖。
• 通过一种即插即用的方法，将标准卷积替换为低成本卷积，并借助在线蒸馏提升性能，实现有效的CNN压缩与加速。

提出的方法

• 通过将预训练架构（如ResNet、DenseNet）中的标准卷积替换为低成本卷积（如深度可分离、分组或移位卷积），构建学生网络。
• 在训练过程中，通过拼接多个学生网络的特征图并添加新分类器，动态构建在线教师网络，实现知识的动态迁移。
• 在端到端训练中，学生网络与在线教师网络之间进行互学习，双方通过共享知识共同提升性能。
• 该方法通过实时生成教师网络，避免了预训练过程，实现了无需分阶段微调的端到端优化。
• 该框架支持在多种架构（包括ResNet-18、ResNet-50和MobileNet V2）上即插即用部署。
• 该方法在CIFAR-10/100和ImageNet ILSVRC 2012上进行了评估，结果表明在不同数据集和模型上均表现出一致的性能提升。

实验结果

研究问题

• RQ1 是否可以在不进行架构重设计的前提下，有效将低成本卷积应用于标准CNN架构中以降低内存与计算量？
• RQ2 知识蒸馏是否能显著提升从零开始训练的、使用低成本卷积的紧凑型学生网络的精度？
• RQ3 在线蒸馏是否能够消除对预训练教师和多阶段训练的依赖，同时保持或提升性能？
• RQ4 所提出的在线蒸馏方法在精度、FLOPs和参数量方面与当前最先进的CNN压缩技术相比如何？

主要发现

• 在CIFAR-10上，所提出的OD-Depthwise方法相较于ResNet-56将FLOPs降低了98.4%，参数量减少了90.5%，同时保持了6.46%的Top-1错误率。
• 在ImageNet上，OD-Depthwise在ResNet-50上实现了26.37%的Top-1错误率和7.34%的Top-5错误率，优于SSS-26（28.18%/9.21%）和GAL-0.5（28.05%/9.06%），且实现了1.79倍的压缩率。
• OD-Shift在ResNet-18上实现了5.66倍的加速（0.32B FLOPs vs. 1.06B在SFP中），尽管精度显著下降，但通过切换到深度可分离或分组卷积得以有效缓解。
• OD-Group-2在ResNet-18上实现了11.33%的Top-5错误率，FLOPs为1.12B，与PFGM的11.53%错误率（1.06B FLOPs）相当，展现出优异的效率-精度权衡。
• 通过互学习机制，该方法显著提升了MobileNet V2的精度，证实了在线蒸馏能够同时增强学生与教师网络的性能。
• 在线蒸馏框架在所有评估的数据集和模型上均达到了当前最优性能，且在不同类型的低成本卷积中均表现出一致的性能增益。