[论文解读] Tensorizing Generative Adversarial Nets

Xingwei Cao, Qibin Zhao+1 more|arXiv (Cornell University)|Oct 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 1被引用 6

一句话总结

本文提出张量化生成对抗网络（TGAN），一种通过多线性运算和Tucker分解将全连接层表示为张量的框架，从而大幅减少模型参数量。通过保持多模态数据结构并实现高效优化，TGAN在MNIST数据集上实现了高达35–40倍的参数压缩，同时生成样本质量与标准GAN相当。

ABSTRACT

Generative Adversarial Network (GAN) and its variants exhibit state-of-the-art performance in the class of generative models. To capture higher-dimensional distributions, the common learning procedure requires high computational complexity and a large number of parameters. The problem of employing such massive framework arises when deploying it on a platform with limited computational power such as mobile phones. In this paper, we present a new generative adversarial framework by representing each layer as a tensor structure connected by multilinear operations, aiming to reduce the number of model parameters by a large factor while preserving the generative performance and sample quality. To learn the model, we employ an efficient algorithm which alternatively optimizes both discriminator and generator. Experimental outcomes demonstrate that our model can achieve high compression rate for model parameters up to $35$ times when compared to the original GAN for MNIST dataset.

研究动机与目标

• 解决标准GAN因计算和参数复杂度过高而难以在移动和边缘设备上部署的问题。
• 通过将输入和层表示为张量，保留传统GAN在向量化过程中丢失的多模态数据结构。
• 通过张量代数和多线性运算显著减少模型大小，同时保持生成性能。
• 通过参数高效的张量化实现在资源受限平台上的高效训练和推理。
• 证明张量化GAN可在参数远少于标准GAN的情况下，实现相当或更优的样本质量。

提出的方法

• 使用多线性运算而非向量化密集层，将每个全连接层表示为张量结构。
• 采用Tucker分解对权重张量进行参数化，通过低秩近似减少参数数量。
• 利用n模态积和张量代数，高效计算张量层之间的前向和反向传播。
• 应用交替优化算法，在张量化框架中联合训练生成器和判别器。
• 将输入、隐藏和输出表示视为多维张量，而非展平的向量，以保留模态间关系。
• 使用张量链式法则推导梯度，反向传播适配张量运算和Tucker分解。

实验结果

研究问题

• RQ1 在GAN中对全连接层进行张量化是否能在不降低样本质量的前提下减少模型参数？
• RQ2 在张量化层中使用Tucker分解如何影响训练收敛性和生成性能？
• RQ3 与标准GAN相比，TGAN在保持基准数据集保真度的前提下，模型压缩程度如何？
• RQ4 与向量化表示相比，张量化是否能更好地保留生成建模中的多模态数据结构？
• RQ5 所提出的框架在合成多模态分布上是否能实现更快的训练速度和更好的泛化能力？

主要发现

• 与参数更多的标准GAN相比，TGAN在MNIST数据集上的模型压缩率最高可达35倍。
• 在MNIST上，尽管参数仅12,000个（而GAN 1有429,000个参数），TGAN生成的样本质量与更大的GAN相当。
• 在具有六个环形分布簇的合成数据实验中，TGAN比标准GAN更快、更准确地收敛到真实分布。
• 即使在40倍压缩率下，该框架仍保持高质量样本生成，表明其在极少数参数下具备强大的生成能力。
• 张量化架构在多模态合成数据上实现了更快的学习速度，表明其对复杂分布具有改进的归纳偏置。
• 该方法显著降低了模型复杂度，参数数量按张量维度乘积之和缩放，而非完整的矩阵乘法。