[论文解读] VACL: Variance-Aware Cross-Layer Regularization for Pruning Deep Residual Networks

Shuang Gao, Xin Liu+3 more|arXiv (Cornell University)|Sep 10, 2019

Advanced Neural Network Applications参考文献 39被引用 4

一句话总结

该论文提出VACL，一种针对深度残差网络剪枝的方差感知跨层正则化方法，通过将跳跃连接层中的滤波器分组，并最小化层间权重方差以实现结构化稀疏对齐。在CIFAR-10上，ResNet110的参数量最多可减少79.5%且准确率无损失；在ImageNet上，剪枝率高达63.3%，top-5准确率损失小于1%，优于当前最先进方法。

ABSTRACT

Improving weight sparsity is a common strategy for producing light-weight deep neural networks. However, pruning models with residual learning is more challenging. In this paper, we introduce Variance-Aware Cross-Layer (VACL), a novel approach to address this problem. VACL consists of two parts, a Cross-Layer grouping and a Variance Aware regularization. In Cross-Layer grouping the $i^{th}$ filters of layers connected by skip-connections are grouped into one regularization group. Then, the Variance-Aware regularization term takes into account both the first and second-order statistics of the connected layers to constrain the variance within a group. Our approach can effectively improve the structural sparsity of residual models. For CIFAR10, the proposed method reduces a ResNet model by up to 79.5% with no accuracy drop and reduces a ResNeXt model by up to 82% with less than 1% accuracy drop. For ImageNet, it yields a pruned ratio of up to 63.3% with less than 1% top-5 accuracy drop. Our experimental results show that the proposed approach significantly outperforms other state-of-the-art methods in terms of overall model size and accuracy.

研究动机与目标

• 为解决具有跳跃连接的深度残差网络剪枝问题，其中不对齐的稀疏模式会降低剪枝效率。
• 降低由跳跃连接关联的层间权重方差，以避免影响有效剪枝。
• 通过在残差块中强制实现通道对齐的稀疏性，提升结构化稀疏性。
• 开发一种利用分组层内权重的一阶和二阶统计量的正则化方法。
• 证明使用VACL训练的剪枝模型在场景识别等下游任务中具有良好的泛化能力。

提出的方法

• VACL通过将所有通过跳跃连接关联的层的第i个滤波器聚类为单一正则化组，实现跨层分组。
• 应用一种考虑每组内权重均值和方差的方差感知正则化项，以最小化幅度差异。
• 正则化项的设计旨在促进连接层间幅度相似，降低在剪除权重时的高参数方差风险。
• 该方法与训练-剪枝流水线集成，通过正则化项在训练过程中诱导稀疏性。
• 采用类似Group Lasso的正则化方法，并引入可学习的超参数λ以控制稀疏性诱导强度。
• 该方法支持从预训练模型微调和从随机初始化训练，均表现出优异性能。

实验结果

研究问题

• RQ1 跨层正则化能否通过在跳跃连接层之间对齐稀疏模式，提升残差网络的结构化稀疏性？
• RQ2 与标准L1或Group Lasso正则化相比，同时考虑权重的一阶和二阶统计量如何提升剪枝性能？
• RQ3 VACL在应用于ResNet和ResNeXt等深度残差架构时，能否实现高效剪枝且准确率损失最小？
• RQ4 使用VACL剪枝的模型在场景识别等迁移学习任务（如Indoor-67数据集）中是否具有良好的泛化能力？
• RQ5 从随机初始化训练剪枝模型在VACL下是否可行？其性能与标准的训练-剪枝-微调范式相比如何？

主要发现

• 在CIFAR-10上，VACL使ResNet110的模型大小减少79.5%，准确率无损失，top-1错误率为22.85%。
• 对于CIFAR-10上的ResNeXt-29-8-64，该方法实现了82%的参数减少，准确率损失小于1%。
• 在ImageNet上，VACL在ResNet50上实现了63.3%的剪枝率，top-5准确率损失仅为0.94%，top-1准确率损失为1.61%。
• 与SOTA方法如ThiNet-70和ThiNet-50相比，该方法在模型紧凑性与准确率的权衡上表现更优。
• 使用VACL训练的模型泛化能力良好，在Indoor-67场景识别数据集上达到70.1%的准确率，仅需610万参数。
• 使用VACL从随机初始化训练剪枝模型，其准确率与微调方法相当，各次运行间最大差异仅为0.16%。