[论文解读] Relaxed Quantization for Discretized Neural Networks

Christos Louizos, Matthias Reisser+3 more|UvA-DARE (University of Amsterdam)|Oct 3, 2018

Advanced Neural Network Applications参考文献 36被引用 16

一句话总结

本文提出了一种可微量化方法——松弛量化（Relaxed Quantization, RQ），通过将离散量化松弛为连续的代理分布，实现了低比特神经网络的端到端训练。通过将权重和激活建模为可学习量化网格上的类别分布，并利用指数分布松弛，RQ实现了基于梯度的优化，在 ImageNet、CIFAR-10 和 MNIST 上实现了最先进的精度-效率权衡，量化后精度损失极小。

ABSTRACT

Neural network quantization has become an important research area due to its great impact on deployment of large models on resource constrained devices. In order to train networks that can be effectively discretized without loss of performance, we introduce a differentiable quantization procedure. Differentiability can be achieved by transforming continuous distributions over the weights and activations of the network to categorical distributions over the quantization grid. These are subsequently relaxed to continuous surrogates that can allow for efficient gradient-based optimization. We further show that stochastic rounding can be seen as a special case of the proposed approach and that under this formulation the quantization grid itself can also be optimized with gradient descent. We experimentally validate the performance of our method on MNIST, CIFAR 10 and Imagenet classification.

研究动机与目标

• 为解决神经网络训练中量化操作的不可微性问题，该问题阻碍了基于梯度的优化。
• 通过梯度下降联合优化量化网格参数（缩放因子与偏移量）与网络权重。
• 提供一个统一框架，使随机舍入和标准量化可被视为特例。
• 通过训练时使用松弛的、可微的量化来模拟真实量化效应，提升量化模型的精度。
• 通过支持端到端可训练的量化，实现资源受限设备上低精度模型的高效部署。

提出的方法

• 该方法将权重和激活的连续分布转换为离散量化网格上的类别分布。
• 引入类别分布的指数分布松弛，构建用于反向传播的连续、可微代理。
• 量化网格由可学习的缩放因子与偏移量参数化，从而支持对网格本身的梯度优化。
• 当松弛温度设置为 1 时，该方法将随机舍入推广为一种特例。
• 通过松弛代理使梯度能够通过量化操作流动，从而支持端到端训练。
• 训练期间模拟批量归一化，以反映低精度硬件上的实际部署条件。

实验结果

研究问题

• RQ1 我们能否通过梯度下降使量化网格本身可学习，而非预先固定？
• RQ2 如何使量化操作可微，以支持低比特网络的端到端训练？
• RQ3 随机舍入是否可视为更通用的可微量化框架中的特例？
• RQ4 通过使用松弛量化进行训练，能否在量化模型中实现更好的精度-效率权衡？
• RQ5 与现有量化技术相比，该方法在精度和计算效率方面表现如何？

主要发现

• RQ 在 ResNet-18 和 MobileNet 上实现了最先进的精度-效率权衡，在精度与每秒比特操作数（BOPs）的权衡中形成了帕累托前沿。
• 在 ImageNet 上，RQ 在低比特设置（4–5 位）下显著优于基线方法，如 SR+DR、BWN、XNOR-Net，甚至优于简单舍入。
• 在 8 位量化下，RQ 的性能与 Jacob 等人（2017）相当或更优，且优于其预训练模型，而 Jacob 等人方法则出现轻微性能下降。
• 当松弛温度设为 1 时，随机舍入被证明是 RQ 的特例，从而在统一的可微框架下统一了该方法。
• 在无 RQ 的情况下，简单舍入在所有比特配置下均导致 MobileNet 性能接近随机，凸显了可微训练的必要性。
• 该方法实现了量化网格与网络权重的联合优化，从而生成了更鲁棒、更精确的量化模型。