[论文解读] Robust Pruning at Initialization

Soufiane Hayou, Jean-François Ton+2 more|arXiv (Cornell University)|Feb 19, 2020

Advanced Neural Network Applications参考文献 38被引用 7

一句话总结

本文提出SBP-SR，一种在网络初始化阶段的新型剪枝方法，通过利用重缩放和重参数化技术维持边缘混沌（EOC）状态，确保剪枝后的模型仍可训练。该方法在CIFAR10、CIFAR100、TinyImageNet和ImageNet上均实现了最先进性能，即使在极端稀疏度（如99.5%和99.9%）下也优于以往的一次性剪枝方法（如SNIP）。

ABSTRACT

Overparameterized Neural Networks (NN) display state-of-the-art performance. However, there is a growing need for smaller, energy-efficient, neural networks tobe able to use machine learning applications on devices with limited computational resources. A popular approach consists of using pruning techniques. While these techniques have traditionally focused on pruning pre-trained NN (LeCun et al.,1990; Hassibi et al., 1993), recent work by Lee et al. (2018) has shown promising results when pruning at initialization. However, for Deep NNs, such procedures remain unsatisfactory as the resulting pruned networks can be difficult to train and, for instance, they do not prevent one layer from being fully pruned. In this paper, we provide a comprehensive theoretical analysis of Magnitude and Gradient based pruning at initialization and training of sparse architectures. This allows us to propose novel principled approaches which we validate experimentally on a variety of NN architectures.

研究动机与目标

• 解决初始化阶段一次性剪枝的不稳定性问题，避免因整层被剪枝而导致模型无法训练。
• 理论上分析为何在未与边缘混沌（EOC）状态对齐时，基于大小或梯度的剪枝方法在深层网络中会失效。
• 开发基于原则的重缩放与重参数化技术，通过维持EOC动力学恢复剪枝后网络的可训练性。
• 在多种架构与数据集上验证所提方法，证明其在高稀疏度下的卓越性能。

提出的方法

• 提出基于敏感度的剪枝（SBP），利用初始化时权重与梯度乘积的大小 |W ∂ℒ/∂W| 识别并移除不重要的连接。
• 引入一种重缩放技巧，通过调整剪枝层的方差，将网络重新引导至边缘混沌（EOC）状态，确保梯度流动稳定。
• 针对ResNets，提出一种称为“稳定残差网络”（SR）的重参数化方法，以缓解梯度爆炸问题，并在剪枝后维持EOC动力学。
• 采用逐层剪枝策略，结合伯努利掩码系统控制协方差结构，确保子网络保持在EOC状态。
• 使用均场近似理论分析梯度传播，并推导出剪枝可保持可训练性的条件。
• 在ResNet、FFNN和CNN架构上，于CIFAR10、CIFAR100、TinyImageNet和ImageNet上开展大量实验验证该方法。

实验结果

研究问题

• RQ1 能否使初始化阶段的一次性剪枝在深层网络中对层坍塌和不可训练性具有鲁棒性？
• RQ2 边缘混沌（EOC）状态是否为全连接与卷积网络在初始化阶段有效剪枝的必要条件？
• RQ3 重缩放与重参数化能否恢复因剪枝而偏离EOC状态的剪枝网络的可训练性？
• RQ4 对于在EOC上初始化的子网络，即使从任意初始化开始，弱彩票假设是否依然成立？
• RQ5 SBP-SR能否在多个基准测试中于极端稀疏度下实现最先进性能？

主要发现

• 在CIFAR10上，ResNet104在90%稀疏度下，SBP-SR达到94.69%测试准确率，优于SNIP的93.25%。
• 在99.5%稀疏度下，SBP-SR在ResNet104上保持87.47%准确率，而SNIP降至33.63%。
• 在99.9%稀疏度下，SBP-SR在ResNet104上达到72.70%准确率，而SNIP仅为10.11%。
• 对于ResNet32，SBP-SR在90%稀疏度下达到92.56%准确率，略高于SNIP的92.26%。
• 理论分析证实，通过适当的重缩放，剪枝可保持EOC状态，从而实现稳定训练。
• 弱彩票假设被证明为真：对于任意初始化满足σw > σw,EOC，均存在一个在EOC上初始化的子网络。