[论文解读] WoodFisher: Efficient second-order approximations for model compression.

Sidak Pal Singh, Dan Alistarh|arXiv (Cornell University)|Apr 29, 2020

Advanced Neural Network Applications被引用 14

一句话总结

WoodFisher 提出了一种高效且精确的神经网络压缩逆 Hessian 近似方法，通过利用二阶信息，在一次性剪枝和渐进式剪枝方面优于现有方法。该方法在 ImageNet ILSVRC 上的 ResNet-50 和 MobileNetV1 上实现了最先进（SOTA）的测试准确率，显著提升了压缩质量与泛化能力。

ABSTRACT

Second-order information, in the form of Hessian- or Inverse-Hessian-vector products, is a fundamental tool for solving optimization problems. Recently, there has been significant interest in utilizing this information in the context of deep neural networks; however, relatively little is known about the quality of existing approximations in this context. Our work examines this question, identifies issues with existing approaches, and proposes a method called WoodFisher to compute a faithful and efficient estimate of the inverse Hessian. Our main application is to neural network compression, where we build on the classic Optimal Brain Damage/Surgeon framework. We demonstrate that WoodFisher significantly outperforms popular state-of-the-art methods for one-shot pruning. Further, even when iterative, gradual pruning is considered, our method results in a gain in test accuracy over the state-of-the-art approaches, for pruning popular neural networks (like ResNet-50, MobileNetV1) trained on standard image classification datasets such as ImageNet ILSVRC. We examine how our method can be extended to take into account first-order information, as well as illustrate its ability to automatically set layer-wise pruning thresholds and perform compression in the limited-data regime. The code is available at the following link, this https URL.

研究动机与目标

• 为解决深度神经网络中可靠二阶近似方法的缺乏，特别是针对模型压缩问题。
• 在神经网络优化背景下，提升逆 Hessian 估计的保真度与效率。
• 通过利用精确的二阶信息，提升一次性剪枝与渐进式剪枝的性能。
• 实现自动的逐层剪枝阈值选择，并在低数据场景下实现有效的压缩。

提出的方法

• WoodFisher 使用一种新颖的近似方案，计算出忠实且高效的逆 Hessian 估计，平衡了准确率与计算成本。
• 通过引入高质量的二阶信息，扩展了 Optimal Brain Damage/Surgeon 框架，实现结构化剪枝。
• 该方法整合一阶与二阶信息，以优化剪枝决策并提升泛化能力。
• 基于估计的曲率自动设定逐层剪枝阈值，减少对手动超参数调优的依赖。
• WoodFisher 设计用于高效扩展至大型模型（如 ResNet-50 和 MobileNetV1），支持实际部署。
• 该方法支持一次性剪枝与迭代剪枝，且在测试准确率上保持一致的性能提升。

实验结果

研究问题

• RQ1 在深度神经网络背景下，现有逆 Hessian 近似方法的准确率如何？
• RQ2 更忠实且高效的逆 Hessian 近似是否能改善模型压缩结果？
• RQ3 引入二阶信息是否能带来更好的泛化能力与更高的剪枝后准确率？
• RQ4 WoodFisher 是否能自动确定最优的逐层剪枝阈值，而无需人工调参？
• RQ5 WoodFisher 在低数据场景下的模型压缩中表现如何？

主要发现

• 在使用一次性剪枝压缩 ResNet-50 和 MobileNetV1 时，WoodFisher 在 ImageNet ILSVRC 上实现了最先进（SOTA）的测试准确率。
• 即使在迭代式渐进剪枝设置下，WoodFisher 的测试准确率仍优于现有最先进方法。
• 与先前方法相比，WoodFisher 提供了更忠实且高效的逆 Hessian 估计。
• WoodFisher 实现了自动的逐层剪枝阈值选择，显著降低了对手动超参数调优的依赖。
• 该方法在低数据场景下表现出稳健性能，可在训练数据有限的情况下实现有效压缩。
• 代码已公开，便于复现与进一步研究。