[论文解读] Whitening and Coloring transform for GANs.
本文提出了一种用于生成对抗网络（GANs）的白化与着色变换（Whitening and Coloring Transform, WCT），通过用可学习的白化与着色操作替代特征标准化与缩放，将批归一化（Batch Normalization, BN）和条件批归一化（conditional BN, cBN）泛化。该方法在多个数据集和 GAN 框架中提升了训练速度并生成了更高质量的图像，在 CIFAR-10 上实现了最先进的 FID 分数。
Batch Normalization (BN) is a common technique used both in discriminative and generative networks in order to speed-up training. On the other hand, the learnable parameters of BN are commonly used in conditional Generative Adversarial Networks for representing class-specific information using conditional Batch Normalization (cBN). In this paper we propose to generalize both BN and cBN using a Whitening and Coloring based batch normalization. We apply our method to conditional and unconditional image generation tasks and we show that replacing the BN feature standardization and scaling with our feature whitening and coloring improves the final qualitative results and the training speed. We test our approach on different datasets and we show a consistent improvement orthogonal to different GAN frameworks. Our CIFAR-10 supervised results are higher than all previous works on this dataset.
研究动机与目标
- 通过引入一种更具泛化能力的归一化技术，解决生成对抗网络中批归一化（BN）和条件批归一化（cBN）的局限性。
- 在无条件与条件图像生成任务中，提升训练效率与生成质量。
- 开发一种能比 BN 或 cBN 更有效地捕捉类别特定与特征层级统计信息的归一化方法。
- 在多种数据集与 GAN 架构中展示一致的性能提升。
提出的方法
- 用基于批次特征统计的可学习白化与着色变换（WCT）替代 BN 和 cBN 中的标准特征归一化操作。
- 先应用白化操作以去除特征相关性并将其标准化为单位方差，随后通过可学习的着色变换恢复并调制特征相关性。
- 将 WCT 集成到无条件与条件 GAN 框架中的生成器与判别器网络中。
- 与 GAN 一起端到端训练 WCT 参数，使网络能够学习最优的特征变换以实现图像生成。
- 采用可微分的 WCT 公式，支持反向传播并实现与 GAN 目标函数的联合优化。
实验结果
研究问题
- RQ1是否一种比 BN 或 cBN 更通用的归一化技术能够提升 GAN 的训练速度与图像质量？
- RQ2在图像生成的特征表示学习方面，WCT 与 BN 和 cBN 相比表现如何？
- RQ3WCT 是否在不同数据集与 GAN 架构中均能持续提升性能？
- RQ4在条件 GAN 中，WCT 是否能学习到比 cBN 更优的类别特定表示？
主要发现
- 所提出的 WCT 方法在 CIFAR-10 上实现了最先进的 FID 分数，超越了该基准上的所有先前工作。
- 与标准 BN 和 cBN 相比，WCT 的训练收敛速度更快，表明其优化动态更优。
- 定性结果表明，多个数据集上的图像样本在保真度与多样性方面均更优。
- 该方法在不同 GAN 框架中具有良好的泛化能力，无论架构选择如何，均表现出一致的性能提升。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。