[论文解读] Network Pruning That Matters: A Case Study on Retraining Variants

Duong Hoang Le, Binh‐Son Hua|arXiv (Cornell University)|May 7, 2021

Advanced Neural Network Applications参考文献 37被引用 17

一句话总结

本文研究了在微调剪枝神经网络时学习率调度的关键作用，表明大学习率——尤其是通过学习率重启——显著优于传统微调方法。令人惊讶的是，使用大学习率重新训练的随机剪枝网络甚至能超越精心设计的剪枝方法，揭示出重新训练的超参数比剪枝方法本身更为重要。

ABSTRACT

Network pruning is an effective method to reduce the computational expense of over-parameterized neural networks for deployment on low-resource systems. Recent state-of-the-art techniques for retraining pruned networks such as weight rewinding and learning rate rewinding have been shown to outperform the traditional fine-tuning technique in recovering the lost accuracy (Renda et al., 2020), but so far it is unclear what accounts for such performance. In this work, we conduct extensive experiments to verify and analyze the uncanny effectiveness of learning rate rewinding. We find that the reason behind the success of learning rate rewinding is the usage of a large learning rate. Similar phenomenon can be observed in other learning rate schedules that involve large learning rates, e.g., the 1-cycle learning rate schedule (Smith et al., 2019). By leveraging the right learning rate schedule in retraining, we demonstrate a counter-intuitive phenomenon in that randomly pruned networks could even achieve better performance than methodically pruned networks (fine-tuned with the conventional approach). Our results emphasize the cruciality of the learning rate schedule in pruned network retraining - a detail often overlooked by practitioners during the implementation of network pruning. One-sentence Summary: We study the effective of different retraining mechanisms while doing pruning

研究动机与目标

• 探究为何学习率重置（LRW）在微调剪枝网络时优于传统微调方法。
• 确定LRW的成功是源于特定的学习率调度，还是大学习率的使用。
• 评估仅使用大学习率的简单重新训练策略是否能超越复杂的剪枝算法。
• 倡导在剪枝算法公平比较中采用标准化的重新训练配置。
• 强调在神经网络剪枝流程中，学习率调度常被忽视的重要性。

提出的方法

• 通过大量实验比较多种重新训练策略，包括微调、学习率重置（LRW）和学习率重启（CLR）。
• 将1周期学习率调度（CLR）应用于剪枝模型的重新训练，特别关注大初始学习率的影响。
• 使用均匀随机的重要性评分对滤波器进行随机剪枝，随后使用大学习率重新训练以评估性能。
• 采用标准训练方案并保持各方法间超参数一致，以隔离学习率调度的影响。
• 在多个数据集（CIFAR-10、ImageNet）和模型（ResNet、DenseNet、VGG、ResNet-50）上，于不同压缩比下比较性能。
• 通过消融实验隔离学习率大小和调度对剪枝后最终准确率的影响。

实验结果

研究问题

• RQ1 为何学习率重置（LRW）在微调剪枝网络时优于传统微调方法？
• RQ2 LRW的成功是源于特定调度，还是大学习率的使用？
• RQ3 仅使用大学习率的简单重新训练策略能否超越复杂的剪枝算法？
• RQ4 重新训练超参数的选择是否会影响不同剪枝方法比较的公平性？
• RQ5 当使用最优学习率重新训练时，随机剪枝网络能否实现与精心设计剪枝网络相当或更优的性能？

主要发现

• 学习率重置（LRW）优于微调，主要归因于使用了大学习率，而非其与原始训练的特定调度耦合。
• 通过1周期调度（CLR）使用大学习率重新训练，在所有模型和数据集上均一致提升性能，无论剪枝方法或压缩比如何。
• 使用CLR重新训练的随机剪枝网络性能优于采用相同剪枝标准的精心设计剪枝网络，表明重新训练超参数可超越剪枝策略的影响。
• 在CIFAR-10上，随机剪枝结合CLR在ResNet-110上达到93.40±0.16%的top-1准确率，超过HRankPlus的93.37±0.04%和MWP的93.23%。
• 在ImageNet上，随机剪枝结合CLR在ResNet-50上于81%压缩率下达到75.54%的top-1准确率，超过Taylor Pruning的75.48%和PFEC的73.47%。
• 本研究揭示，使用大学习率重新训练可使简单的基于范数的剪枝方法与复杂剪枝算法相媲美，挑战了‘复杂剪枝指标是必需’的假设。