[论文解读] QGAN: Quantized Generative Adversarial Networks

Peiqi Wang, Dongsheng Wang+6 more|arXiv (Cornell University)|Jan 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 21被引用 21

一句话总结

本文提出QGAN，一种基于期望最大化（EM）算法的新型生成对抗网络（GAN）量化方法，旨在克服现有量化技术中量化权重值代表性不足的问题。QGAN能够在保持高质量样本生成的前提下，有效实现GAN的1-bit和2-bit量化，其性能优于以往在低比特宽度下会失效或产生噪声输出的方法。

ABSTRACT

The intensive computation and memory requirements of generative adversarial neural networks (GANs) hinder its real-world deployment on edge devices such as smartphones. Despite the success in model reduction of CNNs, neural network quantization methods have not yet been studied on GANs, which are mainly faced with the issues of both the effectiveness of quantization algorithms and the instability of training GAN models. In this paper, we start with an extensive study on applying existing successful methods to quantize GANs. Our observation reveals that none of them generates samples with reasonable quality because of the underrepresentation of quantized values in model weights, and the generator and discriminator networks show different sensitivities upon quantization methods. Motivated by these observations, we develop a novel quantization method for GANs based on EM algorithms, named as QGAN. We also propose a multi-precision algorithm to help find the optimal number of bits of quantized GAN models in conjunction with corresponding result qualities. Experiments on CIFAR-10 and CelebA show that QGAN can quantize GANs to even 1-bit or 2-bit representations with results of quality comparable to original models.

研究动机与目标

• 探究将现有神经网络量化方法应用于生成对抗网络（GAN）的可行性与挑战，因为GAN在量化下已知存在不稳定性。
• 识别现有量化技术在应用于GAN时的关键失败模式，特别是量化权重值代表性不足以及生成器与判别器之间敏感度差异的问题。
• 开发一种新型量化方法QGAN，利用EM算法更好地在低比特量化模型中保留原始权重分布。
• 设计一种多精度量化策略，根据生成器与判别器对量化敏感度的相对差异，优化其比特宽度分配。
• 通过实证验证，1-bit和2-bit量化后的GAN能够生成与全精度模型质量相当的样本。

提出的方法

• 提出QGAN，一种利用EM算法将全精度权重聚类为量化层级的量化方法，确保更好的分布对齐，减少量化值的代表性不足。
• 在基于EM的聚类过程中引入线性缩放函数，以提高量化状态的利用率，并稳定GAN的训练动态。
• 提出一种多精度量化算法，根据对两者对量化敏感度的经验观察，分别以不同比特宽度对生成器和判别器进行量化。
• 采用两阶段训练策略：先对判别器进行量化，再联合微调两个网络以稳定收敛。
• 使用Inception Score（IS）和视觉检查评估不同比特宽度和量化方法下的生成样本质量。
• 在CIFAR-10和CelebA数据集上，使用多种GAN架构（DCGAN、WGAN-GP、LSGAN）在不同量化设置下验证该方法。

实验结果

研究问题

• RQ1 为何标准量化方法在应用于GAN时会失败，尽管其在CNN和RNN中表现成功？
• RQ2 从模型收敛性和样本质量角度看，生成器与判别器在权重量化方面的敏感度有何不同？
• RQ3 基于EM的聚类方法能否有效缓解GAN中量化权重值的代表性不足问题？
• RQ4 生成器与判别器之间最优的比特宽度配置是什么，能够在模型压缩与样本质量之间取得平衡？
• RQ5 1-bit或2-bit量化后的GAN能否生成与全精度模型质量相当的样本？

主要发现

• 标准量化方法在GAN上失败，是由于量化权重值代表性不足，导致样本质量差甚至完全无法生成。
• 判别器对量化显著更敏感，且联合量化生成器与判别器比仅量化生成器能获得更稳定的训练。
• QGAN在低比特GAN量化中达到最先进性能，即使在1-bit和2-bit精度下也能生成高质量样本，1-bit判别器与2-bit生成器在DCGAN（CIFAR-10）上达到4.33的Inception Score，在DCGAN（CelebA）上达到2.68的Inception Score。
• 多精度量化策略成功识别出最优比特宽度配置，WGAN-GP在4-bit判别器与4-bit生成器下达到3.17的Inception Score，LSGAN在3-bit判别器与3-bit生成器下达到3.55的Inception Score。
• 视觉检查确认，QGAN生成的样本在感知上可接受，且与全精度基线模型相当，尤其在2-bit及以上时表现更优，而其他方法在1-bit时产生噪声或伪影。
• QGAN中的基于EM的聚类能有效拟合原始权重分布，如量化状态的分布更加均匀且更具代表性，相比基线量化方法表现更优。