[论文解读] On Iterative Neural Network Pruning, Reinitialization, and the Similarity of Masks

M. Paganini, Jessica Zosa Forde|arXiv (Cornell University)|Jan 14, 2020

Domain Adaptation and Few-Shot Learning参考文献 40被引用 4

一句话总结

本文研究了带权重重置的迭代神经网络剪枝，表明根据剪枝方法的不同，同一过参数化网络中可涌现出多个高性能稀疏子网络（即‘彩票’）。研究发现，基于大小的非结构化剪枝结合重置可产生与结构化剪枝相似的连接模式，且权重稳定性与性能强相关，即使在不进行后期重置的情况下也是如此。

ABSTRACT

We examine how recently documented, fundamental phenomena in deep learning models subject to pruning are affected by changes in the pruning procedure. Specifically, we analyze differences in the connectivity structure and learning dynamics of pruned models found through a set of common iterative pruning techniques, to address questions of uniqueness of trainable, high-sparsity sub-networks, and their dependence on the chosen pruning method. In convolutional layers, we document the emergence of structure induced by magnitude-based unstructured pruning in conjunction with weight rewinding that resembles the effects of structured pruning. We also show empirical evidence that weight stability can be automatically achieved through apposite pruning techniques.

研究动机与目标

• 探究在相同过参数化网络中，是否存在多个高性能稀疏子网络（即‘彩票’），且其存在与剪枝方法无关。
• 分析不同迭代剪枝技术对剪枝模型连接结构和学习动态的影响。
• 评估在剪枝网络中，权重重置是否相较于微调具有结构和性能上的优势。
• 评估权重稳定性在决定迭代剪枝成功中的作用，及其与模型性能的相关性。
• 比较非结构化剪枝与结构化剪枝，以及随机剪枝与基于大小的剪枝在识别可训练稀疏子网络方面的有效性。

提出的方法

• 在小规模架构（LeNet、AlexNet、VGG-11）上，基于MNIST和CIFAR-10数据集，对迭代剪枝技术进行实证比较。
• 应用基于大小的非结构化剪枝，并结合权重重置，以在剪枝迭代过程中保持初始权重分布。
• 通过沿输入通道的结构化剪枝，与非结构化剪枝+重置的连接模式进行对比。
• 通过计算连续剪枝迭代之间权重值的绝对差值，衡量权重稳定性。
• 通过测试准确率评估性能，并分析不同剪枝方法下的泛化行为。
• 可视化并比较不同剪枝流程下剪枝网络掩码（即连接模式）的相似性。

实验结果

研究问题

• RQ1 不同剪枝技术是否在同一个过参数化网络中产生不同的高性能子网络（即多个‘彩票’）？
• RQ2 在每次剪枝迭代后进行权重重置，是否能产生与结构化剪枝相似的连接结构，特别是在输入特征选择方面？
• RQ3 剪枝方法的选择如何影响最终掩码的结构相似性以及剪枝过程中的权重稳定性？
• RQ4 剪枝过程中权重稳定性与最终模型性能之间是否存在相关性？
• RQ5 不同剪枝技术是否导致模型在保留测试集上产生不同的错误，暗示其在集成方法中的潜在价值？

主要发现

• 根据所用剪枝方法的不同，同一过参数化网络中可涌现出多个高性能稀疏子网络（即‘彩票’），表明‘彩票’并非唯一。
• 基于大小的非结构化剪枝结合权重重置，可产生与沿输入维度的结构化剪枝非常相似的连接模式，表明存在输入特征选择效应。
• 剪枝过程中的权重稳定性与最终模型性能强相关，且可通过适当的剪枝技术实现，即使不进行后期重置。
• ‘混合’剪枝方法（结合结构化与非结构化剪枝）表现出最高的权重稳定性，剪枝迭代过程中权重的序数变化最小。
• 随机结构化剪枝优于随机非结构化剪枝，表明网络对随机通道/单元移除的鲁棒性高于对随机连接移除的鲁棒性。
• 不同剪枝技术导致的模型在测试集上产生不同的错误，暗示集成这些模型可提升泛化性能。