[论文解读] TcGAN: Semantic-Aware and Structure-Preserved GANs with Individual Vision Transformer for Fast Arbitrary One-Shot Image Generation

Yunliang Jiang, Lili Yan+3 more|arXiv (Cornell University)|Feb 16, 2023

Image Processing Techniques and Applications被引用 4

一句话总结

TcGAN 提出了一种语义感知且结构保持的 GAN，通过集成一个独立的视觉Transformer（ViT）来建模长距离依赖关系，从而克服CNN感受野有限的问题。该方法在仅约10分钟内完成训练，速度比ConSinGAN快1.6倍，比SinGAN快6.5倍，同时实现了SOTA性能，SIFID低至0.0117，LPIPS为0.0560，SSIM为0.8449。

ABSTRACT

One-shot image generation (OSG) with generative adversarial networks that learn from the internal patches of a given image has attracted world wide attention. In recent studies, scholars have primarily focused on extracting features of images from probabilistically distributed inputs with pure convolutional neural networks (CNNs). However, it is quite difficult for CNNs with limited receptive domain to extract and maintain the global structural information. Therefore, in this paper, we propose a novel structure-preserved method TcGAN with individual vision transformer to overcome the shortcomings of the existing one-shot image generation methods. Specifically, TcGAN preserves global structure of an image during training to be compatible with local details while maintaining the integrity of semantic-aware information by exploiting the powerful long-range dependencies modeling capability of the transformer. We also propose a new scaling formula having scale-invariance during the calculation period, which effectively improves the generated image quality of the OSG model on image super-resolution tasks. We present the design of the TcGAN converter framework, comprehensive experimental as well as ablation studies demonstrating the ability of TcGAN to achieve arbitrary image generation with the fastest running time. Lastly, TcGAN achieves the most excellent performance in terms of applying it to other image processing tasks, e.g., super-resolution as well as image harmonization, the results further prove its superiority.

研究动机与目标

• 解决基于CNN的一次性图像生成（OSG）方法在全局结构保持和长距离依赖建模方面的局限性。
• 通过利用视觉Transformer的注意力机制，克服现有OSG模型在泛化能力差和结构不一致方面的缺陷。
• 开发一种可扩展、训练快速的框架，实现从单张图像进行任意图像生成，适用于数据有限的实际应用场景。
• 通过利用尺度不变的缩放机制，实现在无需额外标注的情况下进行高保真度图像超分辨率和图像融合。
• 在训练效率和图像质量方面，优于当前SOTA的OSG方法，如SinGAN、ConSinGAN和PetsGAN。

提出的方法

• 提出一种新型TcGAN框架，将生成器与独立的视觉Transformer（ViT）结合，以建模长距离依赖关系并保持全局图像结构。
• 设计一种尺度不变的缩放公式，在图像超分辨率过程中保持语义一致性，实现在无需微调或标注的情况下实现高保真度生成。
• 将OSG中标准的CNN特征提取器替换为基于ViT的编码器，以增强全局上下文建模能力并减少结构伪影。
• 采用多尺度、基于图像块的训练策略，类似于SinGAN，但通过ViT增强的特征学习，同时保留局部细节和全局布局。
• 使用带有自注意力机制的判别器，以提升对抗训练的稳定性，并生成更具真实感的纹理和结构。
• 集成TcGAN转换器框架，实现对超分辨率和图像融合等下游任务的零样本适应。

实验结果

研究问题

• RQ1 基于视觉Transformer的生成器是否能在一次性图像生成过程中，优于基于CNN的生成器，在全局结构保持和语义一致性方面表现更优？
• RQ2 所提出的尺度不变缩放公式如何在无需额外标注的情况下提升图像超分辨率质量？
• RQ3 在生成器中集成独立的ViT对一次性图像生成的训练速度和推理质量有何影响？
• RQ4 TcGAN是否能在无需微调的情况下，有效泛化到超分辨率和图像融合等下游任务？
• RQ5 与现有SOTA的OSG方法（如SinGAN、ConSinGAN和PetsGAN）相比，TcGAN在训练效率和图像质量方面表现如何？

主要发现

• 在Places50数据集上，TcGAN实现了最低的SIFID分数0.0117，表明其在图像质量和多样性方面优于所有基线模型。
• 在CelebA50数据集上，TcGAN实现了0.8882的SSIM，表明其在生成多样化样本的同时，与源图像具有极强的结构相似性。
• TcGAN将平均训练时间减少至约10分钟，训练速度比ConSinGAN快1.6倍，比ExSinGAN快2.8倍，比SinGAN和SinDiffusion快6.5倍。
• 在Places50数据集上，TcGAN的LPIPS为0.0560，表明生成图像具有高感知多样性且冗余极少。
• TcGAN在超分辨率和图像融合任务中表现出良好的泛化能力，无需额外标注即可保持语义一致性和结构保真度。
• 消融实验表明，ViT组件对全局结构保持至关重要，若将其移除，性能会显著下降。