[论文解读] Towards Good Practices for Data Augmentation in GAN Training.

Ngoc-Trung Tran, Viet-Hung Tran+3 more|arXiv (Cornell University)|Jun 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 2被引用 26

一句话总结

本文提出DAG（面向生成对抗网络的数据增强优化方法），一种系统性框架，使生成对抗网络（GAN）能够利用增强数据，而无需学习增强数据的分布，而是聚焦于原始数据的分布。通过理论保证使GAN训练与原始数据分布对齐，DAG提升了生成器和判别器的学习效果，在多种GAN模型上实现了SOTA（最先进）的FID得分。

ABSTRACT

Recent successes in Generative Adversarial Networks (GAN) have affirmed the importance of using more data in GAN training. Yet it is expensive to collect data in many domains such as medical applications. Data Augmentation (DA) has been applied in these applications. In this work, we first argue that the classical DA approach could mislead the generator to learn the distribution of the augmented data, which could be different from that of the original data. We then propose a principled framework, termed Data Augmentation Optimized for GAN (DAG), to enable the use of augmented data in GAN training to improve the learning of the original distribution. We provide theoretical analysis to show that using our proposed DAG aligns with the original GAN in minimizing the JS divergence w.r.t. the original distribution and it leverages the augmented data to improve the learnings of discriminator and generator. The experiments show that DAG improves various GAN models. Furthermore, when DAG is used in some GAN models, the system establishes state-of-the-art Frechet Inception Distance (FID) scores.

研究动机与目标

• 解决传统数据增强可能导致GAN学习增强数据分布而非原始数据分布的风险。
• 开发一种理论基础扎实的方法，使增强数据能在GAN训练中被有效利用，同时保持与原始数据分布的一致性。
• 通过利用增强数据而不引入分布偏移，提升生成器和判别器的性能。
• 在多种GAN架构上，通过Frechet Inception Distance（FID）衡量，实现最先进水平的生成质量。

提出的方法

• 提出DAG框架，通过修改GAN训练目标，确保即使使用增强数据，生成器仍能学习原始数据分布。
• 理论分析表明，DAG最小化了与原始数据分布之间的Jensen-Shannon（JS）散度，保持与标准GAN训练的一致性。
• 将数据增强整合到判别器的真实数据采样过程中，确保生成器在增强数据上进行训练，但优化目标仍针对原始分布。
• 在损失函数中引入重加权机制，以补偿数据增强带来的分布偏移，从而保留原始数据的统计特性。
• 将DAG应用于多种GAN模型（包括StyleGAN和BigGAN），无需修改网络架构，实现即插即用的性能提升。

实验结果

研究问题

• RQ1 GAN训练中的数据增强是否会导致分布错位，使生成器学习的是增强数据分布而非原始数据分布？
• RQ2 如何将数据增强有效整合到GAN训练中，以保持对原始数据分布的学习？
• RQ3 所提出的DAG框架是否在保持与标准GAN目标理论一致性的同时，提升了模型性能？
• RQ4 当应用于增强数据时，DAG是否能在多种GAN架构上实现SOTA的FID得分？

主要发现

• DAG确保GAN训练即使在使用增强数据时，仍能最小化与原始数据分布之间的JS散度。
• 该框架通过有效利用增强数据，避免分布漂移，显著提升了生成器和判别器的学习效果。
• 实验结果表明，当结合DAG与数据增强时，多种GAN模型均表现出一致的性能提升。
• 在部分GAN模型上，DAG实现了SOTA的FID得分，充分证明其在提升生成质量方面的有效性。