[论文解读] RPGAN: GANs Interpretability via Random Routing

Andrey Voynov, Artem Babenko|arXiv (Cornell University)|Dec 23, 2019

Anomaly Detection Techniques and Applications参考文献 32被引用 8

一句话总结

RPGAN 提出了一种新型 GAN 架构，用通过多个并行生成器层实例的随机路由替代传统的基于噪声的随机性，实现了对所学特征的无监督可解释性。该设计表明，不同层捕获了不同的变化因素（例如，形状、颜色、位置），同时在保持竞争性生成质量的同时，支持无需完整微调的高效增量学习。

ABSTRACT

In this paper, we introduce Random Path Generative Adversarial Network (RPGAN) -- an alternative design of GANs that can serve as a tool for generative model analysis. While the latent space of a typical GAN consists of input vectors, randomly sampled from the standard Gaussian distribution, the latent space of RPGAN consists of random paths in a generator network. As we show, this design allows to understand factors of variation, captured by different generator layers, providing their natural interpretability. With experiments on standard benchmarks, we demonstrate that RPGAN reveals several interesting insights about the roles that different layers play in the image generation process. Aside from interpretability, the RPGAN model also provides competitive generation quality and allows efficient incremental learning on new data.

研究动机与目标

• 为解决 GAN 缺乏无监督、数据无关的可解释性工具的问题，因为 GAN 通常被视为黑箱模型。
• 在无需标注数据或预训练模型的前提下，实现对单个生成器层在图像生成中贡献的分析。
• 设计一种通过修改生成器随机路由机制结构来自然支持可解释性的 GAN 架构。
• 证明通过多个层实例的随机路由可实现具有竞争力的生成质量，并支持高效的增量学习。

提出的方法

• RPGAN 用随机路由机制替代标准的高斯噪声输入，该机制在推理过程中从每个生成器层的多个并行副本中选择一个实例。
• 每个生成器层被实现为一个‘桶’，其中包含多个相同但独立训练的层实例，每次前向传播仅选择其中一个实例。
• 模型在标准 GAN 框架下进行训练，使用对抗损失，判别器用于区分真实图像与通过随机路由生成的图像。
• 通过分析单个层实例的行为实现可解释性：若多个实例输出一致，表明其学习到稳定的特征；若输出存在差异，则揭示了特定的变化因素。
• 通过添加新的层实例并仅微调这些新实例，该架构支持增量学习，避免了完整的重新训练。
• 一个意外发现是，RPGAN 仅使用线性变换（无需非线性激活）即可实现高质量的图像生成，从而可通过矩阵压缩实现显著的速度提升。

实验结果

研究问题

• RQ1 如何在不依赖监督或预训练模型的前提下，解释 GAN 中单个生成器层的作用？
• RQ2 通过多个层实例的随机路由能否自然地实现图像生成中变化因素的解耦？
• RQ3 RPGAN 架构是否在支持可解释性和高效增量学习的同时，仍能保持具有竞争力的生成质量？
• RQ4 能否在不使用非线性激活的情况下有效训练 GAN 生成器，这对推理速度和模型压缩有何影响？

主要发现

• RPGAN 有效揭示了不同生成器层负责不同的变化因素，如物体形状、颜色和空间布局，其结果与监督方法一致，但无需使用标签。
• 在使用全连接生成器且无非线性激活的情况下，RPGAN 在 CIFAR-10 上实现了 22.79 的 Fréchet Inception Distance (FID)，证明了其具有竞争力的生成质量。
• 在 MNIST 上的增量学习通过在子集预训练后仅训练 10 个新层实例实现，新模型能以极小的重新训练量泛化到完整数据集。
• 通过将全连接层序列通过随机乘积组合压缩为单个线性变换，RPGAN 实现了 2.2 倍的推理时间加速，且图像多样性损失可忽略不计。
• 随机路由机制使生成器内部表征的可解释性自然实现，从而可识别哪些层实例对特定图像属性有贡献。