[论文解读] RPR: Random Partition Relaxation for Training; Binary and Ternary Weight Neural Networks

Lukas Cavigelli, Luca Benini|arXiv (Cornell University)|Jan 4, 2020

Advanced Neural Network Applications参考文献 31被引用 8

一句话总结

RPR（随机划分松弛）是一种用于二值化和三值化权重神经网络的新颖训练方法，该方法在基于SGD的优化过程中交替地将量化权重的随机划分松弛为连续值，实现了在GoogLeNet上的最先进准确率，以及在ResNet-18和ResNet-50上具有竞争力的结果，同时保持与标准深度学习框架的兼容性。

ABSTRACT

We present Random Partition Relaxation (RPR), a method for strong quantization of neural networks weight to binary (+1/-1) and ternary (+1/0/-1) values. Starting from a pre-trained model, we quantize the weights and then relax random partitions of them to their continuous values for retraining before re-quantizing them and switching to another weight partition for further adaptation. We demonstrate binary and ternary-weight networks with accuracies beyond the state-of-the-art for GoogLeNet and competitive performance for ResNet-18 and ResNet-50 using an SGD-based training method that can easily be integrated into existing frameworks.

研究动机与目标

• 通过强权重量化减少模型大小和计算成本，以解决在低功耗物联网和移动设备上部署深度神经网络的挑战。
• 克服在量化和微调后通常在二值化和三值化权重网络（BWNs/TWNs）中出现的准确率下降问题。
• 开发一种与标准深度学习框架兼容的训练方法，通过使用标准SGD优化，而非ADMM等复杂替代方法。
• 在无需架构修改或专用硬件感知量化级别的情况下，实现二值化和三值化权重网络的最先进准确率。

提出的方法

• RPR将量化网络的训练表述为混合整数非线性规划问题，并在训练过程中使用交替优化，将权重的小部分随机选择的划分从量化值松弛为连续值。
• 该方法在量化所有权重和将随机子集松弛为连续值之间交替进行，使松弛权重能够进行梯度更新，而其余权重保持量化状态。
• 在对松弛划分重新训练后，权重被重新量化，然后以新的随机划分重复该过程，从而实现网络的渐进式优化。
• 该方法完全兼容基于标准SGD的训练流程，可轻松集成到PyTorch等现有深度学习框架中。
• 该方法支持二值化（{-1, 1}）和三值化（{-1, 0, 1}）权重量化，且可选择将第一层和最后一层排除在量化之外。

实验结果

研究问题

• RQ1 一种简单且与SGD兼容的训练方法是否能在无需复杂优化或架构修改的情况下，实现二值化和三值化权重神经网络的最先进准确率？
• RQ2 与标准量化方法相比，交替松弛随机权重划分是否能提升强量化网络的泛化能力和准确率？
• RQ3 RPR是否能在保持硬件效率和框架兼容性的前提下，超越ADMM和TTQ等现有最先进方法？
• RQ4 在二值化和三值化权重约束下，RPR在GoogLeNet、ResNet-18和ResNet-50等不同网络架构上的Top-1和Top-5准确率表现如何？

主要发现

• 在GoogLeNet上使用三值权重时，RPR实现了64.88%的Top-1准确率和86.05%的Top-5准确率，分别比之前的最先进方法（ADMM）高出1.7%和1.76%。
• 在GoogLeNet上使用二值权重时，RPR实现了62.01%的Top-1准确率和84.83%的Top-5准确率，优于XNOR-Net BWN和ADMM方法。
• 在ResNet-18上，RPR使用三值权重实现了66.31%的Top-1准确率和87.84%的Top-5准确率，性能与ADMM相当，同时使用标准SGD。
• 在ResNet-18上使用二值权重时，RPR实现了64.62%的Top-1准确率和86.01%的Top-5准确率，优于XNOR-Net BWN和INQ。
• 在ResNet-50上，RPR使用三值权重实现了71.83%的Top-1准确率和90.28%的Top-5准确率，接近ADMM的性能，同时避免了复杂优化。
• 该方法保持与标准深度学习框架的兼容性，无需依赖ADMM等先前方法的代码或模型发布，从而实现了更广泛的可复现性和可集成性。