[论文解读] ResNet Can Be Pruned 60x: Introducing Network Purification and Unused Path Removal (P-RM) after Weight Pruning

Xiaolong Ma, Geng Yuan+4 more|arXiv (Cornell University)|Apr 30, 2019

Advanced Neural Network Applications参考文献 14被引用 6

一句话总结

本文提出一种后处理框架 P-RM（网络净化与无用路径移除），在 ADMM 基础的结构化权重重剪枝后，通过检测并移除冗余权重和无用路径，实现 ResNet-18 最高达 60× 的剪枝率，且精度下降极小。该方法在无需微调的情况下提升压缩率，利用新颖的算法解决 ADMM 解非最优性问题。

ABSTRACT

The state-of-art DNN structures involve high computation and great demand for memory storage which pose intensive challenge on DNN framework resources. To mitigate the challenges, weight pruning techniques has been studied. However, high accuracy solution for extreme structured pruning that combines different types of structured sparsity still waiting for unraveling due to the extremely reduced weights in DNN networks. In this paper, we propose a DNN framework which combines two different types of structured weight pruning (filter and column prune) by incorporating alternating direction method of multipliers (ADMM) algorithm for better prune performance. We are the first to find non-optimality of ADMM process and unused weights in a structured pruned model, and further design an optimization framework which contains the first proposed Network Purification and Unused Path Removal algorithms which are dedicated to post-processing an structured pruned model after ADMM steps. Some high lights shows we achieve 232x compression on LeNet-5, 60x compression on ResNet-18 CIFAR-10 and over 5x compression on AlexNet. We share our models at anonymous link http://bit.ly/2VJ5ktv.

研究动机与目标

• 为解决深度神经网络极端结构化权重重剪枝中的精度下降问题。
• 识别并解决由于 DNN 损失函数非凸性导致的 ADMM 基结构化剪枝中的非最优性问题。
• 发现并消除 ADMM 优化后仍残存于剪枝模型中的无用路径与冗余权重。
• 开发一种后处理框架，在不微调的情况下最大化压缩率并保持模型精度。

提出的方法

• 提出一种两阶段后处理框架：ADMM 基结构化剪枝后应用网络净化与无用路径移除（P-RM）。
• 使用 Frobenius 范数阈值（Th₁–Th₄）检测并移除对网络输出贡献最小的低能量滤波器与通道权重。
• 采用双重剪枝策略：当激活范数低于阈值时，移除整个滤波器及其对应通道。
• 采用组合剪枝机制，同时移除滤波器及其连接通道，以消除无用路径。
• 引入无需微调的净化步骤，基于结构与激活标准检测并移除冗余权重。
• 利用 ADMM 完成初始结构化剪枝（滤波器与列剪枝），随后应用 P-RM 进一步优化剪枝后的模型。

实验结果

研究问题

• RQ1 ADMM 基结构化剪枝中的非最优性是否可系统性检测并缓解？
• RQ2 ADMM 结构化剪枝后的模型中是否仍存在无用路径与冗余权重？若存在，能否被识别并移除？
• RQ3 像 P-RM 这类后处理框架能否在不造成精度下降的前提下显著提升压缩率？
• RQ4 在 CIFAR-10 上使用结构化剪枝结合 P-RM 时，ResNet-18 的最大可实现压缩比是多少？
• RQ5 在多种架构与数据集上，P-RM 与现有方法相比在压缩-精度权衡方面表现如何？

主要发现

• LeNet-5 实现 232× 压缩率，精度仅下降 0.7%，最高可达 88× 压缩率且精度损失可忽略。
• ResNet-18 在 CIFAR-10 上实现 60× 压缩率，精度无明显下降，52× 压缩率下精度仅下降 0.9%。
• VGG-16 在 CIFAR-10 上实现 50× 压缩率，精度下降 1%，44× 压缩率下精度无损失。
• AlexNet 在 ImageNet 上压缩率从 4.69× 提升至 5.13×，ResNet-18 从 3.02× 提升至 3.33×，精度下降极小。
• P-RM 框架成功识别并移除冗余权重与无用路径，显著提升压缩率，远超仅使用 ADMM 的效果。