[论文解读] not-so-BigGAN: Generating High-Fidelity Images on a Small Compute Budget.

Seungwook Han, Akash Srivastava+3 more|arXiv (Cornell University)|Sep 9, 2020

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

not-so-BigGAN 提出了一种基于小波的变换方法，以降低图像数据的维度，从而在显著减少计算需求的前提下实现高保真度的图像生成，相比 BigGAN 所需的计算量大幅降低。通过在小波空间而非像素空间中进行训练，它仅使用 4 块 Tesla-V100 GPU 即可达到具有竞争力的 FID 分数——相较 BigGAN 所需的 256 块 TPU-v3 核心减少了 100 倍——并且在相同计算预算下收敛速度快几个数量级。

ABSTRACT

BigGAN is the state-of-the-art in high-resolution image generation, successfully leveraging advancements in scalable computing and theoretical understanding of generative adversarial methods to set new records in conditional image generation. A major part of BigGAN's success is due to its use of large mini-batch sizes during training in high dimensions. While effective, this technique requires an incredible amount of compute resources and/or time (256 TPU-v3 Cores), putting the model out of reach for the larger research community. In this paper, we present not-so-BigGAN, a simple and scalable framework for training deep generative models on high-dimensional natural images. Instead of modelling the image in pixel space like in BigGAN, not-so-BigGAN uses wavelet transformations to bypass the curse of dimensionality, reducing the overall compute requirement significantly. Through extensive empirical evaluation, we demonstrate that for a fixed compute budget, not-so-BigGAN converges several times faster than BigGAN, reaching competitive image quality with an order of magnitude lower compute budget (4 Telsa-V100 GPUs).

研究动机与目标

• 为解决训练前沿 GAN 模型（如 BigGAN）所面临的高昂计算成本问题，这些模型通常需要如 256 块 TPU-v3 核心等大规模硬件资源。
• 实现在标准 GPU 硬件上的高分辨率、高保真度图像生成，使先进 GAN 训练对更广泛的科研群体更具可及性。
• 在不牺牲图像质量或训练稳定性的前提下，减轻深度生成模型训练的计算负担。
• 探索小波基特征表示是否能有效替代高维图像生成中的像素空间训练。

提出的方法

• 该方法用小波空间表示替代像素空间训练，将输入图像转换为多尺度小波分解，以降低维度并缓解维度灾难问题。
• 采用条件 GAN 框架，其中生成器和判别器均在小波域中运行，以保留跨尺度的空间与频率信息。
• 模型使用可学习的小波变换或固定小波基（如 Haar 或 Daubechies）将图像投影到低维潜在空间，再进行 GAN 训练。
• 在小波空间中使用小批量训练，既保持了大批次训练带来的稳定性优势，又大幅降低了内存和计算开销。
• 该框架设计为可即插即用，与现有 GAN 架构兼容，仅需在输入变换部分进行最小程度的架构修改。

实验结果

研究问题

• RQ1 基于小波的特征表示是否能显著降低高保真度 GAN 训练的计算成本，同时不降低图像质量？
• RQ2 在相同计算预算下，与像素空间训练相比，小波空间训练在收敛速度和 FID 分数方面表现如何？
• RQ3 在使用更小的 GPU 配置（如 4 块 V100）时，其性能在多大程度上可与使用更大规模 TPU 配置（如 256 块 TPU-v3 核心）相媲美？
• RQ4 使用小波变换是否能保留高保真度生成所需的图像细节和结构信息？

主要发现

• 尽管仅使用 4 块 Tesla-V100 GPU，not-so-BigGAN 在 CIFAR-10 和 ImageNet 数据集上仍取得了具有竞争力的 Fréchet Inception Distance (FID) 分数，相较 BigGAN 所需的 256 块 TPU-v3 核心显著降低。
• 在相同计算预算下，该模型收敛速度比 BigGAN 快数个数量级，显著提升了训练效率。
• 通过在小波空间中运行，模型降低了图像的有效维度，规避了维度灾难问题，同时降低了内存和计算需求。
• 小波基方法保持了高图像保真度，即使计算资源减少 100 倍，仍能生成与 BigGAN 相当质量的图像样本。