[论文解读] Really should we pruning after model be totally trained? Pruning based on a small amount of training.

Yue Li, Weibin Zhao+1 more|arXiv (Cornell University)|Jan 24, 2019

Advanced Neural Network Applications参考文献 33被引用 4

一句话总结

该论文提出了一种基于少量训练的增量剪枝（IPLT）方法，这是一种新颖的剪枝算法，通过在训练过程中逐步剪枝，在仅进行少量预训练（仅数个周期）的情况下，实现了具有竞争力的模型压缩与加速。IPLT在CIFAR-10数据集上的VGG-19模型中实现了8倍至9倍的模型压缩，以及训练和推理阶段最高达10倍的加速，挑战了传统认为有效剪枝必须依赖大量预训练的假设。

ABSTRACT

Pre-training of models in pruning algorithms plays an important role in pruning decision-making. We find that excessive pre-training is not necessary for pruning algorithms. According to this idea, we propose a pruning algorithm---Incremental pruning based on less training (IPLT). Compared with the traditional pruning algorithm based on a large number of pre-training, IPLT has competitive compression effect than the traditional pruning algorithm under the same simple pruning strategy. On the premise of ensuring accuracy, IPLT can achieve 8x-9x compression for VGG-19 on CIFAR-10 and only needs to pre-train few epochs. For VGG-19 on CIFAR-10, we can not only achieve 10 times test acceleration, but also about 10 times training acceleration. At present, the research mainly focuses on the compression and acceleration in the application stage of the model, while the compression and acceleration in the training stage are few. We newly proposed a pruning algorithm that can compress and accelerate in the training stage. It is novel to consider the amount of pre-training required by pruning algorithm. Our results have implications: Too much pre-training may be not necessary for pruning algorithms.

研究动机与目标

• 挑战‘大量预训练对于有效神经网络剪枝至关重要’的假设。
• 开发一种可在训练阶段实现模型压缩与加速的剪枝算法。
• 在保持高精度与压缩效率的前提下，最小化所需预训练量。
• 探究减少预训练是否仍能实现与传统方法相当的剪枝性能。

提出的方法

• IPLT引入了一种增量剪枝策略，即在训练过程中分阶段应用剪枝，而非在完整预训练后进行。
• 该算法基于少量初始训练周期执行剪枝，显著缩短了预训练阶段。
• 其采用一种简单的剪枝策略，在逐步移除冗余参数的同时保持模型精度。
• 该方法将剪枝直接集成到训练循环中，实现在模型优化过程中同步完成压缩与加速。
• 它基于参数权重大小进行剪枝决策，但在极短预训练后逐步应用。
• 该方法设计为与标准训练流程兼容，最大限度减少对网络架构或训练流程的修改。

实验结果

研究问题

• RQ1 与传统方法相比，是否能通过显著减少预训练周期实现有效的神经网络剪枝？
• RQ2 在训练过程中进行增量剪枝是否优于或至少可媲美依赖大量预训练的传统剪枝方法？
• RQ3 实现具有竞争力的压缩与加速效果，所需的最少预训练量是多少？
• RQ4 是否能有效将剪枝集成到训练过程中，从而同时加速训练与推理？
• RQ5 减少预训练是否会导致模型精度或压缩效率的下降？

主要发现

• IPLT仅通过数个周期的预训练，即在CIFAR-10数据集上的VGG-19模型中实现了8倍至9倍的模型压缩，性能与传统方法相当或更优。
• 该方法使训练与推理阶段的加速最高可达10倍，显著降低了计算成本。
• 尽管预训练量极少，IPLT仍保持了高测试精度，表明大量预训练并非实现有效剪枝的必要条件。
• 该算法表明，剪枝可有效应用于训练过程中，实现从初始阶段即开始的压缩与加速。
• 结果挑战了当前普遍认为长时预训练阶段对成功剪枝必不可少的假设，表明预训练时间可被大幅缩短。