[论文解读] TGAN: Deep Tensor Generative Adversarial Nets for Large Image Generation

Zihan Ding, Xiao-Yang Liu+2 more|arXiv (Cornell University)|Jan 28, 2019

Generative Adversarial Networks and Image Synthesis参考文献 28被引用 13

一句话总结

本文提出TGAN，一种深度张量生成对抗网络，通过在张量空间而非像素空间中操作，生成大尺寸、高质量的图像。通过将张量超分辨率与深度卷积神经网络相结合，TGAN保持了空间结构和局部像素邻近性，实现了SOTA的Inception分数，并在PASCAL2数据集上生成了真实的$374\times374$图像，图像尺寸相比先前方法提升了8.5倍。

ABSTRACT

Deep generative models have been successfully applied to many applications. However, existing works experience limitations when generating large images (the literature usually generates small images, e.g. 32 * 32 or 128 * 128). In this paper, we propose a novel scheme, called deep tensor adversarial generative nets (TGAN), that generates large high-quality images by exploring tensor structures. Essentially, the adversarial process of TGAN takes place in a tensor space. First, we impose tensor structures for concise image representation, which is superior in capturing the pixel proximity information and the spatial patterns of elementary objects in images, over the vectorization preprocess in existing works. Secondly, we propose TGAN that integrates deep convolutional generative adversarial networks and tensor super-resolution in a cascading manner, to generate high-quality images from random distributions. More specifically, we design a tensor super-resolution process that consists of tensor dictionary learning and tensor coefficients learning. Finally, on three datasets, the proposed TGAN generates images with more realistic textures, compared with state-of-the-art adversarial autoencoders. The size of the generated images is increased by over 8.5 times, namely 374 * 374 in PASCAL2.

研究动机与目标

• 解决使用深度生成模型生成大尺寸、高分辨率图像的挑战。
• 克服传统GAN在处理高维数据时因计算复杂度高和模式崩溃而面临的局限性。
• 通过利用保留空间模式和局部邻近性的张量表示，提升图像质量和结构保真度。
• 构建一种级联框架，结合DCGAN与张量超分辨率，实现可扩展的、高保真度的图像生成。
• 在大规模数据集（如PASCAL2）上展示优越性能，实现$374\times374$图像的生成。

提出的方法

• 该方法在张量空间中运行，用张量化数据替代向量化的图像表示，以更好地捕捉空间和结构关系。
• 采用级联架构，将深度卷积神经网络与张量超分辨率模块结合，实现图像的渐进式优化。
• 张量超分辨率过程包括张量字典学习和使用t-线性组合的张量系数学习，实现紧凑高效的表示。
• 通过使用循环矩阵保持平移不变性，在上采样过程中保留空间结构。
• 生成器学习将随机噪声映射为低分辨率张量，随后通过基于张量的超分辨率方法增强，生成高分辨率输出。
• 判别器在张量空间中评估生成图像的真实性，实现对抗性训练，从而保留纹理和结构细节。

实验结果

研究问题

• RQ1 在张量空间中运行的生成对抗网络是否能超越标准像素空间GAN，在生成大尺寸、高质量图像方面表现更优？
• RQ2 与向量化表示相比，张量表示在建模空间模式和局部像素邻近性方面有何改进？
• RQ3 张量超分辨率在大规模图像生成中对图像质量和细节保真度的提升程度如何？
• RQ4 所提出的级联TGAN框架是否在Inception分数和视觉质量方面优于SOTA模型（如AAE）？
• RQ5 该方法能否实现$374\times374$分辨率图像的生成，同时保持真实感和结构一致性？

主要发现

• 在PASCAL2数据集上，TGAN生成$374\times374$图像的Inception得分为4.02，显著优于AAE的3.81分。
• 在MNIST数据集上，TGAN仅生成2张模糊图像（共16张），而AAE生成6张，表明TGAN具有更优的视觉质量和特征清晰度。
• 消融实验表明，张量超分辨率显著提升了图像质量，无该模块的图像缺乏细节，显得更粗糙。
• TGAN在PASCAL2上生成了$374\times374$图像，相比先前方法（如AAE）图像尺寸提升了8.5倍。
• 与基于向量的方法相比，该模型更好地保留了空间结构和局部邻近性，生成的纹理更真实，特征更锐利。
• 采用基于张量的字典学习可减小字典规模和计算复杂度，加速训练过程，同时保持高表示效率。