[论文解读] Progressive DNN Compression: A Key to Achieve Ultra-High Weight Pruning and Quantization Rates using ADMM

Shaokai Ye, Xiaoyu Feng+12 more|arXiv (Cornell University)|Mar 23, 2019

Advanced Neural Network Applications被引用 27

一句话总结

该论文提出一种基于ADMM的渐进式DNN压缩框架，实现极高的权重剪枝率与量化率，且精度损失最小。通过迭代应用带有动态正则化和掩码微调的ADMM，该方法在LeNet-5上实现246×的剪枝率，并首次实现LeNet-5（MNIST）和VGG-16（CIFAR-10）的无损全二值化模型，同时在ResNet-50和ResNet-18上取得当前最优结果。

ABSTRACT

Weight pruning and weight quantization are two important categories of DNN model compression. Prior work on these techniques are mainly based on heuristics. A recent work developed a systematic frame-work of DNN weight pruning using the advanced optimization technique ADMM (Alternating Direction Methods of Multipliers), achieving one of state-of-art in weight pruning results. In this work, we first extend such one-shot ADMM-based framework to guarantee solution feasibility and provide fast convergence rate, and generalize to weight quantization as well. We have further developed a multi-step, progressive DNN weight pruning and quantization framework, with dual benefits of (i) achieving further weight pruning/quantization thanks to the special property of ADMM regularization, and (ii) reducing the search space within each step. Extensive experimental results demonstrate the superior performance compared with prior work. Some highlights: (i) we achieve 246x,36x, and 8x weight pruning on LeNet-5, AlexNet, and ResNet-50 models, respectively, with (almost) zero accuracy loss; (ii) even a significant 61x weight pruning in AlexNet (ImageNet) results in only minor degradation in actual accuracy compared with prior work; (iii) we are among the first to derive notable weight pruning results for ResNet and MobileNet models; (iv) we derive the first lossless, fully binarized (for all layers) LeNet-5 for MNIST and VGG-16 for CIFAR-10; and (v) we derive the first fully binarized (for all layers) ResNet for ImageNet with reasonable accuracy loss.

研究动机与目标

• 为克服基于单次ADMM的DNN剪枝方法的局限性，包括解不可行性与次优剪枝率。
• 将ADMM优化方法扩展至权重量化，实现剪枝与量化的一体化统一框架。
• 设计一种渐进式、多阶段的压缩策略，以缩小搜索空间并实现超高的压缩率。
• 在ResNet和MobileNet等复杂模型上实现无损或近无损压缩。
• 在MNIST、CIFAR-10和ImageNet上首次实现端到端的全二值化DNN模型，且精度具有竞争力。

提出的方法

• 引入动态ADMM正则化与掩码映射结合微调，以保证解的可行性并提升收敛性。
• 采用多ρ更新机制，加速ADMM收敛并提升解的质量。
• 将ADMM框架泛化，实现权重剪枝与量化在统一优化过程中的联合处理。
• 设计渐进式压缩流水线，每一步均以前序结果作为初始化，从而缩小搜索空间并实现更深层次的压缩。
• 应用基于L2的ADMM正则化，利用其特性实现对更高剪枝率与量化率的迭代优化。
• 仔细调整超参数并设计分阶段的压缩策略，以平衡精度与压缩率。

实验结果

研究问题

• RQ1 基于ADMM的DNN压缩能否扩展至保证单次剪枝中的解可行性并提升收敛性？
• RQ2 ADMM框架能否泛化为支持在统一优化框架下同时处理权重剪枝与量化？
• RQ3 利用ADMM正则化的渐进式、多阶段压缩策略是否能显著提升剪枝与量化率，优于单次方法？
• RQ4 能否在LeNet-5和ResNet-50等标准DNN上实现100×或更高的超高压缩率，且精度损失接近零？
• RQ5 在ImageNet上的复杂模型（如ResNet）上，是否可行实现全层二值化DNN，且精度损失极小？

主要发现

• 所提出的渐进式ADMM框架在LeNet-5（MNIST）上实现246×权重剪枝，精度达99.2%，与基线模型持平，并优于先前的单次ADMM方法（71.2×）与扩展单次方法（85×）。
• 在AlexNet（ImageNet）上，该方法实现61×剪枝，精度损失微小，显著优于以往工作在压缩率与稳定性方面的表现。
• 首次实现MNIST数据集上LeNet-5的无损全二值化模型，所有层均保持99.21%的精度。
• 首次在CIFAR-10上实现无损全二值化VGG-16模型，精度达93.53%，较以往方法提升超过10个百分点。
• 首次在ImageNet上实现全二值化ResNet-18模型，Top-5精度损失仅5.8%，标志着深度残差网络端到端二值化的重大突破。
• 该框架在AlexNet和ResNet-50上分别实现36×与8×的剪枝率，精度损失接近零，证明其在深层网络上的可扩展性。