[论文解读] Score-Guided Generative Adversarial Networks

Minhyeok Lee, Junhee Seok|arXiv (Cornell University)|Apr 9, 2020

Anomaly Detection Techniques and Applications参考文献 32被引用 4

一句话总结

本文提出Score-Guided GAN（ScoreGAN），一种新颖的GAN架构，通过使用预训练的评估网络，利用Inception分数指导生成器训练，避免对Inception网络的过拟合。通过将Inception分数作为辅助损失而非主要目标，ScoreGAN在CIFAR-10上实现最先进性能（IS: 10.36 ± 0.15），并在CIFAR-100上优于现有方法（FID: 13.98）。

ABSTRACT

We propose a Generative Adversarial Network (GAN) that introduces an evaluator module using pre-trained networks. The proposed model, called score-guided GAN (ScoreGAN), is trained with an evaluation metric for GANs, i.e., the Inception score, as a rough guide for the training of the generator. By using another pre-trained network instead of the Inception network, ScoreGAN circumvents the overfitting of the Inception network in order that generated samples do not correspond to adversarial examples of the Inception network. Also, to prevent the overfitting, the evaluation metrics are employed only as an auxiliary role, while the conventional target of GANs is mainly used. Evaluated with the CIFAR-10 dataset, ScoreGAN demonstrated an Inception score of 10.36$\pm$0.15, which corresponds to state-of-the-art performance. Furthermore, to generalize the effectiveness of ScoreGAN, the model was further evaluated with another dataset, i.e., the CIFAR-100; as a result, ScoreGAN outperformed the other existing methods, where the Fréchet Inception Distance (FID) was 13.98.

研究动机与目标

• 解决在使用Inception网络特征作为评估指标时，GAN对Inception网络过拟合的问题。
• 通过使用外部预训练网络作为评分引导评估器，提升GAN的样本质量和训练稳定性。
• 证明将Inception分数等评估指标作为辅助使用，可提升GAN性能而不损害泛化能力。
• 在CIFAR-10之外的多样化数据集上验证所提方法的泛化能力，包括CIFAR-100。

提出的方法

• 提出一种评分引导的GAN（ScoreGAN），使用预训练分类器（如Inception或其他网络）作为评估模块。
• 在生成器训练过程中，将Inception分数用作正则化信号，而非主要损失目标。
• 利用预训练网络计算基于特征的分数，引导生成器生成高质量且多样化的样本。
• 将标准GAN训练目标（如对抗损失）作为主要训练信号，评估指标则作为次要辅助损失。
• 在CIFAR-10和CIFAR-100数据集上使用相同架构和训练协议应用该方法。
• 在训练过程中固定评估网络，以防止分布偏移和对对抗样本的过拟合。

实验结果

研究问题

• RQ1 通过Inception分数使用预训练网络指导GAN训练，能否提升样本质量并减少过拟合？
• RQ2 将Inception分数作为辅助损失而非主要目标，是否能提升GAN的泛化能力？
• RQ3 该评分引导训练范式能否推广至其他数据集（如CIFAR-100）？
• RQ4 ScoreGAN在Inception分数和Fréchet Inception Distance方面与最先进GAN相比如何？
• RQ5 使用非Inception的预训练网络作为评估器，对避免对抗过拟合有何影响？

主要发现

• ScoreGAN在CIFAR-10上实现10.36 ± 0.15的Inception分数，为发表时最先进性能。
• 在CIFAR-100上，ScoreGAN实现13.98的Fréchet Inception Distance（FID），优于现有方法。
• 将Inception分数作为辅助损失可减少对Inception网络的过拟合，相较于标准GAN。
• 该模型在其他数据集上泛化良好，持续优于基线GAN。
• 预训练评估网络在整个训练过程中保持有效且稳定，避免了由对抗样本引起的分布偏移。
• 该方法在样本多样性与保真度方面均表现优异，Inception分数和FID指标均得到验证。