[论文解读] Toward Extremely Low Bit and Lossless Accuracy in DNNs with Progressive ADMM

Sheng Lin, Xiaolong Ma+4 more|arXiv (Cornell University)|May 2, 2019

Advanced Neural Network Applications参考文献 15被引用 14

一句话总结

该论文提出了一种基于逐步ADMM的框架，用于深度神经网络（DNNs）的极低比特和无损权重量化，通过动态正则化和多-ρ更新确保解的可行性并提升收敛性。该方法在MNIST上实现了首个完全二值化的无损LeNet-5（准确率为99.21%），在CIFAR-10上实现了完全二值化的VGG-16（准确率为93.58%），在ImageNet上实现了完全二值化的ResNet-18（Top-5准确率损失为5.8%），为DNN压缩中的全二值化设定了新基准。

ABSTRACT

Weight quantization is one of the most important techniques of Deep Neural Networks (DNNs) model compression method. A recent work using systematic framework of DNN weight quantization with the advanced optimization algorithm ADMM (Alternating Direction Methods of Multipliers) achieves one of state-of-art results in weight quantization. In this work, we first extend such ADMM-based framework to guarantee solution feasibility and we have further developed a multi-step, progressive DNN weight quantization framework, with dual benefits of (i) achieving further weight quantization thanks to the special property of ADMM regularization, and (ii) reducing the search space within each step. Extensive experimental results demonstrate the superior performance compared with prior work. Some highlights: we derive the first lossless and fully binarized (for all layers) LeNet-5 for MNIST; And we derive the first fully binarized (for all layers) VGG-16 for CIFAR-10 and ResNet for ImageNet with reasonable accuracy loss.

研究动机与目标

• 解决现有基于ADMM的DNN权重量化方法中缺乏可行性保证和解质量欠佳的问题。
• 通过将问题分解为多个渐进式步骤，减少权重量化过程中的搜索空间。
• 在复杂模型（如VGG-16和ResNet）上实现全层二值化DNN，且准确率损失最小化。
• 开发一种可扩展、系统化的框架，在实现极端压缩的同时保持高模型准确率，通过渐进式量化达成目标。

提出的方法

• 通过引入动态ADMM正则化和量化权重投影，扩展基于ADMM的DNN量化的框架，以保证解的可行性。
• 采用多步渐进式量化策略，每一步均缩小搜索空间并利用中间结果重用以提升收敛性。
• 在ADMM中采用多-ρ更新机制，通过自适应调整惩罚参数来加速收敛并提升解的质量。
• 迭代求解ADMM子问题：(1) 对权重进行随机梯度下降；(2) 对量化级别执行解析的欧几里得投影；(3) 更新对偶变量。
• 求解带正则化的优化问题：$\min f(\{\mathbf{W}_i\}) + \sum_i \frac{\rho_i}{2} \|\mathbf{W}_i - \mathbf{Q}_i + \mathbf{U}_i\|_F^2$，在模型准确率与量化保真度之间取得平衡。
• 从预训练的全精度DNN开始，逐步按层进行量化，将前序量化结果作为后续步骤的初始化。

实验结果

研究问题

• RQ1 即使损失函数具有非凸性，是否可以使基于ADMM的DNN量化方法具备可行性与稳定性？
• RQ2 与一次性方法相比，渐进式多步框架是否能更有效地缩小搜索空间并提升量化质量？
• RQ3 是否可能在ImageNet等复杂基准上实现全层二值化DNN，且准确率接近无损？
• RQ4 与以往最先进方法相比，该方法在全量化模型的准确率和位宽压缩方面表现如何？

主要发现

• 所提方法在MNIST上实现了首个完全二值化、无损的LeNet-5，Top-1准确率达到99.21%，优于以往工作报道的2.3%准确率损失。
• 在CIFAR-10上，完全二值化的VGG-16达到93.58%的Top-1准确率，超过以往全二值化方法的81.56%，并接近三值量化方法的94.02%准确率。
• 在ImageNet上的ResNet-18中，该方法在全二值化下仅造成5.8%的Top-5准确率损失，证明了其在大规模模型上的可行性，尽管面临巨大挑战。
• 当仅保留第一层和最后一层为8位（其余全二值化）时，该方法仅造成2.5%的Top-5准确率损失，优于以往一次性ADMM方法（2.9%损失）。
• 渐进式框架在MNIST、CIFAR-10和ImageNet基准上均一致提升了量化质量与收敛速度。
• 该方法首次实现了已知的在ImageNet上具有合理准确率损失的全二值化ResNet-18，为极端模型压缩设立了新基准。