[论文解读] Transformer-based Generative Adversarial Networks in Computer Vision: A Comprehensive Survey

Shiv Ram Dubey, Satish Kumar Singh|arXiv (Cornell University)|Feb 17, 2023

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文对计算机视觉中基于Transformer的生成对抗网络（GANs）进行了全面综述，分析了其架构、训练策略以及在图像和视频生成任务中的性能表现。研究突出展示了卷积神经网络（CNNs）的局部归纳偏置与Transformer的自注意力机制在全局建模方面的融合，通过FID、PSNR和SSIM等指标在基准数据集上验证了其在图像生成、图像翻译和视频生成任务中的卓越性能。

ABSTRACT

Generative Adversarial Networks (GANs) have been very successful for synthesizing the images in a given dataset. The artificially generated images by GANs are very realistic. The GANs have shown potential usability in several computer vision applications, including image generation, image-to-image translation, video synthesis, and others. Conventionally, the generator network is the backbone of GANs, which generates the samples and the discriminator network is used to facilitate the training of the generator network. The discriminator network is usually a Convolutional Neural Network (CNN). Whereas, the generator network is usually either an Up-CNN for image generation or an Encoder-Decoder network for image-to-image translation. The convolution-based networks exploit the local relationship in a layer, which requires the deep networks to extract the abstract features. Hence, CNNs suffer to exploit the global relationship in the feature space. However, recently developed Transformer networks are able to exploit the global relationship at every layer. The Transformer networks have shown tremendous performance improvement for several problems in computer vision. Motivated from the success of Transformer networks and GANs, recent works have tried to exploit the Transformers in GAN framework for the image/video synthesis. This paper presents a comprehensive survey on the developments and advancements in GANs utilizing the Transformer networks for computer vision applications. The performance comparison for several applications on benchmark datasets is also performed and analyzed. The conducted survey will be very useful to deep learning and computer vision community to understand the research trends \& gaps related with Transformer-based GANs and to develop the advanced GAN architectures by exploiting the global and local relationships for different applications.

研究动机与目标

• 提供计算机视觉中基于Transformer的GANs的首份全面综述，因为现有文献中尚无此类综述。
• 对基于Transformer的GAN模型在关键应用中的分类与分析，包括图像生成、图像到图像翻译、视频生成和图像修复任务。
• 使用FID、PSNR和SSIM等标准指标，在基准数据集上对比最先进模型的性能。
• 识别在结合Transformer与GAN以提升视觉合成效果方面的研究趋势、开放挑战和未来方向。
• 为研究人员设计能有效利用局部与全局特征表示的先进GAN架构提供指导。

提出的方法

• 该综述系统地根据生成器和判别器的架构对基于Transformer的GANs进行分类，包括视觉Transformer（Vision Transformers）、Swin Transformer以及CNN-Transformer混合架构。
• 分析目标函数，包括对抗损失、感知损失、循环一致性损失和掩码自编码，以评估训练稳定性和生成质量。
• 在CIFAR-10、CelebA、Cityscapes和LSUN等多样化基准数据集上评估模型在图像和视频任务中的表现。
• 使用Fréchet Inception Distance（FID）、峰值信噪比（PSNR）和结构相似性指数（SSIM）等指标进行性能比较。
• 分析架构创新，如交叉注意力、多头自注意力以及结合CNN与Transformer的混合编码器。
• 综述还讨论了训练技术，如渐进式训练、基于掩码的预训练和自监督学习，以提升泛化能力。

实验结果

研究问题

• RQ1 基于Transformer的GANs在建模图像和视频生成中的长距离依赖关系方面，相较于传统CNN-based GANs有何改进？
• RQ2 哪些关键架构组件——如自注意力、交叉注意力或CNN-Transformer混合模块——能够实现图像和视频生成任务中的最先进性能？
• RQ3 不同损失函数（包括对抗损失、感知损失和循环一致性损失）如何影响生成图像和视频的质量与稳定性？
• RQ4 在训练和部署基于Transformer的GANs方面，当前存在哪些局限性与开放挑战，特别是在效率、泛化能力和超参数敏感性方面？
• RQ5 未来哪些研究方向可进一步增强在GAN中通过Transformer融合局部与全局表征的能力？

主要发现

• 基于Transformer的GANs在建模全局依赖关系方面优于传统CNN-based GANs，从而在图像和视频生成质量上表现更优。
• 在CIFAR-10和CelebA等图像生成基准上，采用视觉Transformer（ViT）和Swin Transformer作为生成器的模型取得了最先进FID得分。
• 在U型架构中，结合CNN编码器与Transformer解码器的模型在图像到图像翻译和图像修复任务中表现出色。
• 融合CNN的局部归纳偏置与Transformer的全局建模能力的混合架构，在图像生成和超分辨率任务中展现出更高的稳定性和感知质量。
• 在生成器中使用交叉注意力和掩码标记预测，可提升图像修复和视频生成等任务中的特征对齐与重建保真度。
• 尽管已取得进展，训练不稳定性与高计算成本仍是主要挑战，尤其在视频生成和高分辨率图像合成任务中，表明在损失函数和训练策略方面仍有改进空间。