[论文解读] SOSP: Efficiently Capturing Global Correlations by Second-Order Structured Pruning

Manuel Nonnenmacher, Thomas Pfeil+2 more|arXiv (Cornell University)|Oct 19, 2021

Advanced Neural Network Applications被引用 10

一句话总结

本文提出 SOSP，一种新颖的二阶结构化剪枝方法，通过快速 Hessian-向量乘积高效捕捉所有层之间的全局相关性，实现类似一阶方法的可扩展性，同时保持二阶精度。SOSP-H 在显著降低计算成本的前提下实现了最先进（SOTA）的准确率，并可扩展至 ResNet-50 等大型模型，在剪枝效率方面优于现有方法，同时支持对网络架构瓶颈的系统性检测。

ABSTRACT

Pruning neural networks reduces inference time and memory costs. On standard hardware, these benefits will be especially prominent if coarse-grained structures, like feature maps, are pruned. We devise two novel saliency-based methods for second-order structured pruning (SOSP) which include correlations among all structures and layers. Our main method SOSP-H employs an innovative second-order approximation, which enables saliency evaluations by fast Hessian-vector products. SOSP-H thereby scales like a first-order method despite taking into account the full Hessian. We validate SOSP-H by comparing it to our second method SOSP-I that uses a well-established Hessian approximation, and to numerous state-of-the-art methods. While SOSP-H performs on par or better in terms of accuracy, it has clear advantages in terms of scalability and efficiency. This allowed us to scale SOSP-H to large-scale vision tasks, even though it captures correlations across all layers of the network. To underscore the global nature of our pruning methods, we evaluate their performance not only by removing structures from a pretrained network, but also by detecting architectural bottlenecks. We show that our algorithms allow to systematically reveal architectural bottlenecks, which we then remove to further increase the accuracy of the networks.

研究动机与目标

• 开发一种可扩展、具备全局感知能力的结构化剪枝方法，能够捕捉所有层之间的完整 Hessian 相关性并进行结构化处理。
• 通过引入低复杂度近似方法，克服大规模神经网络中完整二阶剪枝的不可行性。
• 通过剪枝掩码分析与后续网络增宽，实现对架构瓶颈的系统性检测。
• 在大规模视觉任务中，超越现有的一阶与二阶结构化剪枝方法，在准确率、效率与可扩展性方面表现更优。
• 提供一种实用、高效且理论基础坚实的结构化剪枝方法，在保持模型性能的同时降低推理成本。

提出的方法

• SOSP-H 基于快速 Hessian-向量乘积，提出一种新颖的二阶近似方法，实现与一阶方法相当复杂度的高效显著性评估。
• 该方法通过 Hessian-向量乘积计算显著性分数，避免显式计算 Hessian 矩阵，从而实现对深层网络的可扩展性。
• SOSP-I 采用成熟可靠的高斯-牛顿近似作为对比基线，提供稳健的二阶参考基准。
• 剪枝过程基于 Hessian 近似得到的显著性分数，执行全局、结构级别的移除操作（如滤波器、通道等）。
• 该方法支持标准剪枝与通过分析各层剪枝率实现的架构瓶颈检测。
• 参数量与 MAC 数量基于剩余滤波器数量与空间维度精确计算，确保效率度量的准确性。

实验结果

研究问题

• RQ1 是否能够以可接受的计算成本，实现二阶结构化剪枝方法对所有层与结构的全局相关性捕捉？
• RQ2 基于 Hessian-向量乘积的显著性近似方法，是否能在保持低复杂度的同时，实现与现有一阶或二阶方法相当或更优的准确率？
• RQ3 SOSP 生成的剪枝掩码是否能揭示架构瓶颈？这些瓶颈在增宽后是否能进一步提升剪枝后网络的准确率？
• RQ4 在 ResNet-50 等大规模视觉模型上，SOSP-H 与 SOSP-I 及其他最先进剪枝方法相比，在可扩展性与效率方面表现如何？
• RQ5 近似方法与精确方法在参数量与 MAC 数量计算上的差异，对报告的剪枝率与性能评估结果有多大影响？

主要发现

• SOSP-H 在计算成本显著降低的前提下，实现了与最先进剪枝方法相当或更优的准确率，归因于其类似一阶方法的复杂度。
• SOSP-H 有效扩展至大型模型（如 ResNet-50），实现了对所有层的全局结构化剪枝，并完整考虑了 Hessian 相关性。
• 该方法通过识别剪枝率异常偏低的层，成功检测出架构瓶颈，随后通过增宽这些层进一步提升了剪枝后网络的准确率。
• 在 ImageNet 上使用 ResNet-50 时，SOSP-I 报告的 MAC 剪枝率为 15%，但近似计数方法得到的剪枝率为 27%，凸显了精确测量的重要性。
• 本研究采用的精确参数量与 MAC 数量计数方法，相比以往工作中常用的近似方法，提供了更保守且可靠的效率估计。
• SOSP-H 在可扩展性与效率方面优于 SOSP-I，证明了其基于 Hessian-向量乘积的近似方法相较于高斯-牛顿方法的优势。