[论文解读] Structured Convolutions for Efficient Neural Network Design

Yash Bhalgat, Yizhe Zhang+2 more|arXiv (Cornell University)|Aug 6, 2020

Advanced Neural Network Applications参考文献 47被引用 8

一句话总结

本文提出结构化卷积（Structured Convolutions），一种将标准卷积核分解为求和池化操作后接更小、低复杂度卷积的机制，从而实现显著的模型压缩。通过引入结构化正则化损失，该方法使标准网络在训练过程中自然采用这种高效结构，实现高达2倍压缩的ResNet以及50%压缩的HRNet，且精度损失极小，优于现有的张量分解与剪枝方法，在效率方面表现更优。

ABSTRACT

In this work, we tackle model efficiency by exploiting redundancy in the extit{implicit structure} of the building blocks of convolutional neural networks. We start our analysis by introducing a general definition of Composite Kernel structures that enable the execution of convolution operations in the form of efficient, scaled, sum-pooling components. As its special case, we propose extit{Structured Convolutions} and show that these allow decomposition of the convolution operation into a sum-pooling operation followed by a convolution with significantly lower complexity and fewer weights. We show how this decomposition can be applied to 2D and 3D kernels as well as the fully-connected layers. Furthermore, we present a Structural Regularization loss that promotes neural network layers to leverage on this desired structure in a way that, after training, they can be decomposed with negligible performance loss. By applying our method to a wide range of CNN architectures, we demonstrate "structured" versions of the ResNets that are up to 2$ imes$ smaller and a new Structured-MobileNetV2 that is more efficient while staying within an accuracy loss of 1% on ImageNet and CIFAR-10 datasets. We also show similar structured versions of EfficientNet on ImageNet and HRNet architecture for semantic segmentation on the Cityscapes dataset. Our method performs equally well or superior in terms of the complexity reduction in comparison to the existing tensor decomposition and channel pruning methods.

研究动机与目标

• 通过利用卷积核中的隐式结构冗余，解决在资源受限设备上部署深度神经网络的挑战。
• 在不造成显著精度下降的前提下，降低模型复杂度与参数量。
• 开发一种训练方法，促使标准卷积层采用可高效分解的结构化形式。
• 通过求和池化与轻量卷积实现高效推理，利用硬件友好的操作。

提出的方法

• 提出复合核（Composite Kernel）结构作为通用框架，通过叠加 M 个线性无关的二值掩码并配合可学习标量，构建卷积核。
• 将结构化卷积作为复合核的一个特例，实现将原始 C × N × N 卷积核分解为求和池化层后接 c × n × n 的小卷积核。
• 设计结构化正则化损失，最小化权重矩阵在结构子空间上的投影误差的Frobenius范数，从而在训练过程中促进期望的核结构形成。
• 将该分解方法扩展至2D与3D卷积以及全连接层，实现广泛的架构兼容性。
• 采用两阶段训练流程：先使用完整卷积核与正则化进行训练，推理时将每个卷积核替换为求和池化 + 小卷积结构。
• 证明基于正则化的训练方法优于直接在分解架构上训练，因其通过渐进式施加结构约束，实现更优的结构学习。

实验结果

研究问题

• RQ1 能否利用卷积核权重中的隐式结构冗余，在不造成显著精度损失的前提下降低模型复杂度？
• RQ2 如何训练标准卷积层，使其采用可高效分解为求和池化与轻量卷积的结构化形式？
• RQ3 与直接在分解架构上训练相比，结构化正则化对模型精度与效率的影响如何？
• RQ4 结构化卷积在多种架构（如ResNet、MobileNetV2、EfficientNet和HRNet）上，能在多大程度上减少模型大小与FLOPs？
• RQ5 与现有的张量分解与通道剪枝技术相比，该方法在效率与精度方面表现如何？

主要发现

• 结构化ResNet相比标准ResNet最大可缩小2倍，且在ImageNet与CIFAR-10上精度损失可忽略不计。
• 所提出的结构化MobileNetV2在效率上优于MobileNetV2，且在ImageNet与CIFAR-10上精度仅下降1%。
• 在ImageNet上，结构化EfficientNet版本在模型大小与计算量上均显著减少，且精度下降极小。
• 基于HRNet的语义分割模型在Cityscapes数据集上模型大小减少50%，FLOPs降低30%，mIoU仅下降1.5%。
• 结构化正则化损失带来的训练时间与显存开销增加不足5%，即使在大批量训练下也具有实用性。
• 由于渐进式结构约束学习，基于正则化的训练方法在精度上优于直接在分解架构上训练0.9%至1.5%。