[论文解读] TransGAN: Two Transformers Can Make One Strong GAN

Yifan Jiang, Shiyu Chang+1 more|arXiv (Cornell University)|Feb 14, 2021

Generative Adversarial Networks and Image Synthesis参考文献 34被引用 151

一句话总结

TransGAN 提出了一种完全基于变换器的生成对抗网络架构，摒弃了卷积操作，采用内存高效的渐进式分辨率生成器和基于图像块的变换器判别器。该方法在 STL-10 数据集上实现了 SOTA 性能，Inception Score（IS）为 10.10，Fréchet Inception Distance（FID）为 25.32，在高分辨率图像生成任务中优于卷积神经网络 GAN。

ABSTRACT

The recent explosive interest on transformers has suggested their potential to become powerful universal models for computer vision tasks, such as classification, detection, and segmentation. However, how further transformers can go - are they ready to take some more notoriously difficult vision tasks, e.g., generative adversarial networks (GANs)? Driven by that curiosity, we conduct the first pilot study in building a GAN extbf{completely free of convolutions}, using only pure transformer-based architectures. Our vanilla GAN architecture, dubbed extbf{TransGAN}, consists of a memory-friendly transformer-based generator that progressively increases feature resolution while decreasing embedding dimension, and a patch-level discriminator that is also transformer-based. We then demonstrate TransGAN to notably benefit from data augmentations (more than standard GANs), a multi-task co-training strategy for the generator, and a locally initialized self-attention that emphasizes the neighborhood smoothness of natural images. Equipped with those findings, TransGAN can effectively scale up with bigger models and high-resolution image datasets. Specifically, our best architecture achieves highly competitive performance compared to current state-of-the-art GANs based on convolutional backbones. Specifically, TransGAN sets extbf{new state-of-the-art} IS score of 10.10 and FID score of 25.32 on STL-10. It also reaches competitive 8.64 IS score and 11.89 FID score on Cifar-10, and 12.23 FID score on CelebA $64 imes64$, respectively. We also conclude with a discussion of the current limitations and future potential of TransGAN. The code is available at \url{this https URL}.

研究动机与目标

• 探究仅使用变换器是否能够取代生成对抗网络中的卷积神经网络。
• 探索构建完全摒弃卷积操作、仅依赖自注意力机制的 GAN 架构的可行性。
• 通过数据增强、多任务协同训练以及在变换器框架中引入局部初始化的自注意力机制，提升图像生成质量。
• 在保持内存效率和性能的前提下，有效扩展模型以适应高分辨率数据集。

提出的方法

• 设计一种内存友好的、基于变换器的渐进式分辨率生成器，逐步增加特征图尺寸，同时降低嵌入维度。
• 采用变换器架构实现基于图像块的判别器，以在图像块级别评估图像的真实性。
• 比标准 GAN 更有效地应用数据增强技术，以提升训练稳定性和泛化能力。
• 为生成器引入多任务协同训练策略，以增强特征学习和生成结果的多样性。
• 引入局部初始化的自注意力机制，以强调空间平滑性并保留局部图像结构。
• 扩展模型架构，使其能够处理更大规模的数据集和更高分辨率的图像，而不会导致性能下降。

实验结果

研究问题

• RQ1 能否完全基于变换器构建 GAN，而无需任何卷积层？
• RQ2 数据增强在纯变换器架构的 GAN 中如何影响训练动态和性能表现？
• RQ3 在基于变换器的生成器中，多任务协同训练与局部初始化的自注意力机制是否能提升生成图像的质量与多样性？
• RQ4 当将无卷积 GAN 扩展至高分辨率数据集时，其性能上限如何？
• RQ5 与具有卷积主干网络的 SOTA GAN 相比，所提出的 TransGAN 在 FID 和 IS 分数上的表现如何？

主要发现

• TransGAN 在 STL-10 数据集上实现了新的 SOTA 性能，Inception Score（IS）为 10.10，Fréchet Inception Distance（FID）为 25.32。
• 在 Cifar-10 数据集上，TransGAN 的 IS 得分为 8.64，FID 为 11.89，表现出与卷积 GAN 相当的竞争力。
• 在 64×64 分辨率的 CelebA 数据集中，TransGAN 的 FID 得分为 12.23，表明其在人脸图像生成任务中具有出色的生成质量。
• 该模型从数据增强中获益显著，相较于标准 GAN，应用此类技术后性能提升更为明显。
• 多任务协同训练与局部初始化自注意力机制的结合，显著提升了特征学习能力与图像的真实性。
• TransGAN 在更大模型和高分辨率数据集上表现出良好的可扩展性，且在不依赖卷积归纳偏置的情况下仍保持优异性能。