[论文解读] Single Shot Structured Pruning Before Training
本文提出3SP，一种在训练前应用的单次结构化剪枝方法，通过移除整个通道和隐藏单元，使训练速度提升2倍（GPU上）、推理速度提升3倍（CPU上），且在CIFAR-10上仅造成0.5%的精度下降。该方法基于SNIP目标设计了一种计算感知评分机制，优先移除高计算成本、低影响的参数，仅需对单个批次进行一次前向-反向传播即可完成。
We introduce a method to speed up training by 2x and inference by 3x in deep neural networks using structured pruning applied before training. Unlike previous works on pruning before training which prune individual weights, our work develops a methodology to remove entire channels and hidden units with the explicit aim of speeding up training and inference. We introduce a compute-aware scoring mechanism which enables pruning in units of sensitivity per FLOP removed, allowing even greater speed ups. Our method is fast, easy to implement, and needs just one forward/backward pass on a single batch of data to complete pruning before training begins.
研究动机与目标
- 通过在训练开始前即实现剪枝，解决训练深度神经网络带来的高计算成本和碳足迹问题。
- 开发一种结构化剪枝方法，移除整个通道和隐藏单元而非单个权重，从而在标准硬件上实现加速。
- 引入一种计算感知评分机制，优先移除高FLOP、低影响的参数，以提升效率。
- 证明训练前结构化剪枝的可行性与有效性，可在不造成显著精度损失的前提下减少训练时间和能耗。
- 在动态学习场景（如主动学习）中实现更快的模型适应，其中快速微调至关重要。
提出的方法
- 通过基于损失对掩码参数梯度的计算，将SNIP目标扩展至结构化剪枝，为每个通道或隐藏单元生成评分。
- 利用损失变化的一阶近似来估计移除整个通道或单元的影响，实现高效的单次遍历剪枝。
- 引入一种计算感知加权机制，按每参数的FLOPs对剪枝评分进行缩放，优先移除高成本、低影响的组件。
- 通过排序评分并根据目标稀疏率剪除最低分通道/单元，确定最终掩码。
- 整个剪枝过程仅需对单个小型批量数据进行一次前向和反向传播，效率极高。
- 该方法在训练开始前应用，使剪枝后的网络可从头开始训练，显著降低计算负载。
实验结果
研究问题
- RQ1能否在训练前有效应用结构化剪枝，以在标准硬件上加速训练和推理？
- RQ2与标准的大小剪枝或非结构化剪枝方法相比，计算感知评分在多大程度上提升了剪枝效率？
- RQ3仅对单个批次进行一次前向-反向传播，能在多大程度上实现有效且精度损失极小的预训练剪枝？
- RQ4在性能和效率方面，该结构化剪枝方法与SNIP和GraSP等非结构化剪枝方法相比如何？
- RQ5预训练阶段的结构化剪枝能否在主动学习场景中实现更快的模型适应？
主要发现
- 所提出的3SP方法在GPU上使训练速度提升2倍，在CPU上使推理速度提升3倍，且在CIFAR-10上仅造成0.5%的精度下降。
- 通过引入计算感知评分，FLOP减少率从60%提升至85%，显著增强了效率。
- 该方法仅需对单个批次数据进行一次前向和反向传播，因此在实际部署中极为高效且实用。
- 实证分析表明，基于SNIP的评分在结构化设置下依然有效，但GraSP的近似方法在此情境下表现较差。
- 在主动学习中，3SP可实现更快的数据获取与模型重训练，在固定时间预算内达到比未剪枝模型更高的精度。
- 该方法通过避免对完整模型的浪费性训练，降低了能耗与碳排放，尤其在资源受限环境中更具优势。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。