[论文解读] Small-GAN: Speeding Up GAN Training Using Core-sets

Samarth Sinha, Han Zhang+4 more|arXiv (Cornell University)|Oct 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 69被引用 33

一句话总结

提出基于 Core-set 的采样来模拟大批量 GAN 训练，在若干 GAN 变体和数据集上实现更快的训练，同时获得相似或更好的性能。

ABSTRACT

Recent work by Brock et al. (2018) suggests that Generative Adversarial Networks (GANs) benefit disproportionately from large mini-batch sizes. Unfortunately, using large batches is slow and expensive on conventional hardware. Thus, it would be nice if we could generate batches that were effectively large though actually small. In this work, we propose a method to do this, inspired by the use of Coreset-selection in active learning. When training a GAN, we draw a large batch of samples from the prior and then compress that batch using Coreset-selection. To create effectively large batches of 'real' images, we create a cached dataset of Inception activations of each training image, randomly project them down to a smaller dimension, and then use Coreset-selection on those projected activations at training time. We conduct experiments showing that this technique substantially reduces training time and memory usage for modern GAN variants, that it reduces the fraction of dropped modes in a synthetic dataset, and that it allows GANs to reach a new state of the art in anomaly detection.

研究动机与目标

• 激励在 GAN 训练中使用大型小批量，并解决它们带来的计算瓶颈。
• 引入 Core-set 采样以创建覆盖与更大批次相同模态的较小批次。
• 通过对先验样本和高阶嵌入进行操作，使 Core-set 采样在 GANs 中变得可行。
• 在多个 GAN 变体和数据集（CIFAR、LSUN、ImageNet）以及异常检测中展示该方法的有效性。
• 表明 Core-set 增强可以在提高或达到性能指标的同时降低训练时间和内存使用。

提出的方法

• 从先验中抽取一个大批次 n，并进行 Core-set 选择以获得一个较小的批次 k。
• 通过计算 Inception 嵌入来预处理目标数据，并在 Core-set 选择前应用随机投影以降低维度。
• 使用贪心的 k-center 算法作为高效的近似 Core-set 采样器来选择代表性点。
• 将 Core-set 采样应用于先验和目标（嵌入）分布，以创建实际上的大批次。
• 使用标准目标训练 GAN，但采用由 Core-set 得到的批次替代随机小批量。
• 维护一个缓存的 Embedding 数据集以加速运行时 Core-set 决策。

实验结果

研究问题

• RQ1 在降低计算量的同时，Core-set 采样是否能复制大批量在 GAN 训练中的覆盖程度？
• RQ2 在实际批量大小更小的情况下，Small-GAN 是否能提升或保持 GAN 的性能（FID、模态覆盖、异常检测指标）？
• RQ3 该方法在不同的 GAN 变体（SN-GAN、SAGAN）和数据集（CIFAR、LSUN、ImageNet）上是否具备鲁棒性？

主要发现

• 在固定批量大小下，Core-set 采样在 CIFAR 和 LSUN 上提升了多种 GAN 变体的 FID 指标。
• 该方法在高斯混合模型上减少了模式掉落，表明具有更好的模态覆盖。
• Core-set 增强的 GAN 在基于 MEG 的实验中提升了异常检测结果。
• 计时分析显示执行 Core-set 采样仅带来很小的开销（每个梯度步约 ~0.024 秒）。
• 在 ImageNet 的 SAGAN 上，Core-set 采样将 FID 从 19.40 提升到 17.33。
• 跨数据集，实际更大的批量带来类似的改进，但 Core-set 采样在资源增加不成比例的情况下提供了提升。