[论文解读] Progressive Weight Pruning of Deep Neural Networks using ADMM

Shaokai Ye, Tianyun Zhang+11 more|arXiv (Cornell University)|Oct 17, 2018

Advanced Neural Network Applications参考文献 27被引用 38

一句话总结

本文提出一种基于ADMM的渐进式权重剪枝框架，用于深度神经网络，在实现极高压缩率的同时保持极低的精度损失。通过迭代应用中等程度的剪枝率和掩码微调，该方法克服了收敛问题和精度下降，实现在ImageNet上最高34倍、MNIST上最高167倍的剪枝率，显著优于以往方法在压缩率和收敛速度方面的表现。

ABSTRACT

Deep neural networks (DNNs) although achieving human-level performance in many domains, have very large model size that hinders their broader applications on edge computing devices. Extensive research work have been conducted on DNN model compression or pruning. However, most of the previous work took heuristic approaches. This work proposes a progressive weight pruning approach based on ADMM (Alternating Direction Method of Multipliers), a powerful technique to deal with non-convex optimization problems with potentially combinatorial constraints. Motivated by dynamic programming, the proposed method reaches extremely high pruning rate by using partial prunings with moderate pruning rates. Therefore, it resolves the accuracy degradation and long convergence time problems when pursuing extremely high pruning ratios. It achieves up to 34 times pruning rate for ImageNet dataset and 167 times pruning rate for MNIST dataset, significantly higher than those reached by the literature work. Under the same number of epochs, the proposed method also achieves faster convergence and higher compression rates. The codes and pruned DNN models are released in the link bit.ly/2zxdlss

研究动机与目标

• 为解决在深度神经网络中实现极高剪枝率但不造成显著精度下降的挑战。
• 克服直接使用ADMM进行超高压缩率剪枝时长期收敛时间过长和精度下降的问题。
• 开发一种可扩展的渐进式剪枝框架，利用动态规划原理实现稳定且高效的模型压缩。
• 通过最大化剪枝率同时保持模型性能，实现压缩后的深度神经网络在边缘设备上的实际部署。
• 证明在统一ADMM框架下，将权重剪枝与量化技术结合以实现更大压缩率的可行性。

提出的方法

• 该方法采用渐进式剪枝策略，通过多次中等剪枝率的局部剪枝替代单次激进的剪枝步骤。
• 利用ADMM（交替方向乘子法）求解具有组合约束的非凸剪枝优化问题。
• 每次剪枝步骤后执行掩码微调，以恢复精度，其中被剪枝的权重被固定为零，其余权重进行微调。
• 该方法受动态规划启发，利用中间解指导后续剪枝阶段，提升收敛性和稳定性。
• 该框架支持非结构化和结构化稀疏性，并可扩展以集成权重量化以实现进一步压缩。
• 该方法已在Caffe和TensorFlow中实现，代码与剪枝后的模型已公开发布。

实验结果

研究问题

• RQ1 ADMM-based剪枝能否在深度神经网络中实现超高压缩率，同时保持显著精度损失？
• RQ2 与单步直接ADMM剪枝相比，渐进式剪枝在收敛速度和精度保持方面表现如何？
• RQ3 使用优化驱动方法，标准深度神经网络（如AlexNet和LeNet-5）可实现的最大剪枝率是多少？
• RQ4 渐进式ADMM框架能否有效与权重量化结合，以进一步减小模型尺寸？
• RQ5 该方法在包括仅含卷积层的多种深度神经网络架构中是否保持高性能？

主要发现

• 所提出的渐进式ADMM剪枝方法在ImageNet数据集上实现了最高34倍的剪枝率，且精度损失可忽略不计。
• 在MNIST数据集上，该方法实现了创纪录的167倍剪枝率，显著超越以往工作。
• 在相同训练轮次下，该方法收敛更快，且压缩率高于迭代剪枝和直接ADMM剪枝方法。
• 当与量化结合时，该方法在LeNet-5上实现了总模型存储压缩率1,910倍，全连接层使用2比特、卷积层使用3比特，同时保持99.0%的精度。
• 即使考虑索引存储开销，整体压缩率仍达623倍，显著高于现有方法。
• 该框架在多种深度神经网络架构中均表现有效，包括主要由卷积层构成的模型，并优于启发式与正则化方法。