[论文解读] Ultra-Data-Efficient GAN Training: Drawing A Lottery Ticket First, Then Training It Toughly.

Tianlong Chen, Yu Cheng+3 more|arXiv (Cornell University)|Feb 28, 2021

Generative Adversarial Networks and Image Synthesis参考文献 83被引用 15

一句话总结

该论文提出了一种两阶段的超数据高效 GAN 训练框架，首先从预训练 GAN 中识别出一个稀疏且可独立训练的彩票券子网络，然后在相同的小规模真实图像数据集上，通过数据和特征增强对这一子网络进行激进训练。该方法仅使用 100 张真实图像即可实现高质量图像生成，在无需预训练的情况下，跨多种 GAN 架构和数据集展现出强大的少样本泛化能力。

ABSTRACT

Training generative adversarial networks (GANs) with limited data generally results in deteriorated performance and collapsed models. To conquer this challenge, we are inspired by the latest observation of Kalibhat et al. (2020); Chen et al.(2021d), that one can discover independently trainable and highly sparse subnetworks (a.k.a., lottery tickets) from GANs. Treating this as an inductive prior, we decompose the data-hungry GAN training into two sequential sub-problems: (i) identifying the lottery ticket from the original GAN; then (ii) training the found sparse subnetwork with aggressive data and feature augmentations. Both sub-problems re-use the same small training set of real images. Such a coordinated framework enables us to focus on lower-complexity and more data-efficient sub-problems, effectively stabilizing training and improving convergence. Comprehensive experiments endorse the effectiveness of our proposed ultra-data-efficient training framework, across various GAN architectures (SNGAN, BigGAN, and StyleGAN2) and diverse datasets (CIFAR-10, CIFAR-100, Tiny-ImageNet, and ImageNet). Besides, our training framework also displays powerful few-shot generalization ability, i.e., generating high-fidelity images by training from scratch with just 100 real images, without any pre-training. Codes are available at: this https URL.

研究动机与目标

• 解决在有限真实图像数据下训练 GAN 时性能差和模式崩溃的问题。
• 利用 GAN 内部发现的彩票券——稀疏且可训练的子网络——的归纳偏置来提升数据效率。
• 将数据密集型的 GAN 训练分解为两个顺序执行、数据高效的子问题：彩票券识别与聚焦训练。
• 仅使用 100 张真实图像从零开始实现高质量图像生成，达到强大的少样本泛化能力。
• 在多种 GAN 架构（SNGAN、BigGAN、StyleGAN2）和数据集（CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet）上验证该框架的有效性。

提出的方法

• 依据彩票券假说，通过迭代的权重剪枝与重训练，在预训练 GAN 中识别出彩票券子网络。
• 在彩票券识别与后续训练阶段均使用相同的小规模真实图像数据集，最大限度减少数据冗余。
• 在第二阶段训练中应用激进的数据增强（如随机裁剪、颜色抖动）和特征级增强。
• 对识别出的稀疏子网络采用高学习率和强正则化，以提升收敛性和稳定性。
• 在两个阶段中复用相同的训练集，确保数据效率并避免数据泄露。
• 将该框架应用于多种 GAN 架构，在不同数据集上均保持一致的性能提升。

实验结果

研究问题

• RQ1 在 GAN 中发现的彩票券能否作为归纳先验，以提升训练的数据效率？
• RQ2 从少量真实图像数据集中识别并训练稀疏子网络，是否能带来更好的收敛性并减少模式崩溃？
• RQ3 当使用该框架从零开始仅用 100 张真实图像训练时，GAN 能在多大程度上生成高质量图像？
• RQ4 与标准 GAN 训练相比，该方法在多个数据集和架构上的 FID 和 Inception Score 表现如何？
• RQ5 该框架是否能在无需预训练或架构修改的情况下，泛化到多种 GAN 架构和图像数据集？

主要发现

• 所提框架实现了最先进的少样本生成性能，仅使用 100 张真实图像即可生成高质量图像，且无需任何预训练。
• 该方法显著提升了训练稳定性和收敛性，即使在数据有限的情况下也能有效减少模式崩溃。
• 在 CIFAR-10、CIFAR-100、Tiny-ImageNet 和 ImageNet 上，该框架即使仅用 100 张真实图像训练，也达到了具有竞争力的 Fréchet Inception Distance（FID）分数。
• 在 SNGAN、BigGAN 和 StyleGAN2 中识别出的彩票券子网络均可独立训练，并在不同架构上均带来一致的性能提升。
• 在第二阶段训练中应用激进的数据和特征增强，相比标准训练，显著提升了生成样本的质量。
• 该框架在多种数据集和 GAN 架构上均保持了强大的泛化能力，展现出鲁棒性与可扩展性。