[论文解读] Sparse Training via Boosting Pruning Plasticity with Neuroregeneration

Shiwei Liu, Tianlong Chen+8 more|arXiv (Cornell University)|Jun 19, 2021

Advanced Memory and Neural Computing参考文献 76被引用 13

一句话总结

该论文提出GraNet，一种新颖的稀疏训练方法，通过引入零成本神经再生（即在剪枝后用新连接替换被剪枝的连接）来增强训练过程中的剪枝可塑性，从而提升剪枝性能。GraNet在ResNet-50上实现了ImageNet中密集到稀疏以及稀疏到稀疏训练的最先进性能，且无需延长训练时间。

ABSTRACT

Works on lottery ticket hypothesis (LTH) and single-shot network pruning (SNIP) have raised a lot of attention currently on post-training pruning (iterative magnitude pruning), and before-training pruning (pruning at initialization). The former method suffers from an extremely large computation cost and the latter usually struggles with insufficient performance. In comparison, during-training pruning, a class of pruning methods that simultaneously enjoys the training/inference efficiency and the comparable performance, temporarily, has been less explored. To better understand during-training pruning, we quantitatively study the effect of pruning throughout training from the perspective of pruning plasticity (the ability of the pruned networks to recover the original performance). Pruning plasticity can help explain several other empirical observations about neural network pruning in literature. We further find that pruning plasticity can be substantially improved by injecting a brain-inspired mechanism called neuroregeneration, i.e., to regenerate the same number of connections as pruned. We design a novel gradual magnitude pruning (GMP) method, named gradual pruning with zero-cost neuroregeneration ( extbf{GraNet}), that advances state of the art. Perhaps most impressively, its sparse-to-sparse version for the first time boosts the sparse-to-sparse training performance over various dense-to-sparse methods with ResNet-50 on ImageNet without extending the training time. We release all codes in https://github.com/Shiweiliuiiiiiii/GraNet.

研究动机与目标

• 为解决训练过程中剪枝带来的性能差距，通过理解并改进剪枝可塑性。
• 探究受生物神经修复启发的神经再生机制是否能增强剪枝网络恢复性能的能力。
• 开发一种参数高效的训练方法，实现在不增加计算成本的前提下实现高性能稀疏训练。
• 在密集到稀疏和稀疏到稀疏训练范式中均实现最先进水平的性能突破。
• 证明延长训练时间优于重训练技术（如彩票票根重初始化或学习率重置）。

提出的方法

• 提出一种新型渐进式剪枝方法GraNet，该方法在每次剪枝步骤后集成零成本神经再生。
• 以与被剪枝连接数量相同的再生连接注入网络，使用相同的初始随机权重，以恢复网络容量。
• 以渐进、迭代的方式在训练过程中应用剪枝与再生，保持稀疏性的同时提升可塑性。
• 采用基于重要性的剪枝方法，以识别并移除每一步中重要性较低的权重。
• 采用固定的每步剪枝率，避免重训练或学习率重置，转而依赖延长训练实现性能提升。
• 设计一种训练协议，通过后期阶段减少FLOPs来分摊早期FLOP开销，提升效率。

实验结果

研究问题

• RQ1 剪枝可塑性（即剪枝网络恢复原始性能的能力）如何随剪枝率和学习率变化？
• RQ2 受大脑启发的神经再生机制是否能在训练过程中提升剪枝可塑性？
• RQ3 GraNet中的零成本神经再生是否能比标准GMP实现更优的子网络发现？
• RQ4 GraNet是否能在不延长训练时间的前提下，实现密集到稀疏和稀疏到稀疏训练的最先进性能？
• RQ5 重训练技术（如彩票票根重初始化或学习率重置）是否能进一步提升GraNet的性能？

主要发现

• 当剪枝发生在第二次学习率衰减之后时，剪枝可塑性显著下降，解释了为何早期剪枝为最优选择。
• 低剪枝率（如0.2）比高剪枝率更有利于性能恢复，与迭代剪枝方法的成功一致。
• GraNet在ResNet-50上的稀疏到稀疏训练实现了95.09%的top-1准确率（90%稀疏度），超越了无需延长训练时间的密集到稀疏基线方法。
• 对GraNet子网络进行随机重初始化后性能显著下降，证实了连接模式和权重均被学习。
• 将训练时间延长2倍比重训练技术（如彩票票根重初始化或学习率重置）更有效地提升GraNet性能。
• 在CIFAR-100上，GraNet在98%稀疏度下的性能（73.63% top-1）优于基线GMP和其他SOTA方法，证明了其在高稀疏度下的鲁棒性。