[论文解读] On Noise Injection in Generative Adversarial Networks

Ruili Feng, Deli Zhao+1 more|arXiv (Cornell University)|Jun 10, 2020

Generative Adversarial Networks and Image Synthesis参考文献 11被引用 4

一句话总结

本文提出了一种基于黎曼流形理论的几何框架，用以解释噪声注入如何提升生成对抗网络（GAN）中生成器的表达能力。通过使用指数映射建模噪声注入，作者表明该方法可克服由雅可比矩阵秩亏缺陷引起的‘对抗维数陷阱’，从而提升图像保真度与训练稳定性，该方法在StyleGAN2上的实验验证中取得了更优的FID与PPL得分。

ABSTRACT

Noise injection has been proved to be one of the key technique advances in generating high-fidelity images. Despite its successful usage in GANs, the mechanism of its validity is still unclear. In this paper, we propose a geometric framework to theoretically analyze the role of noise injection in GANs. Based on Riemannian geometry, we successfully model the noise injection framework as fuzzy equivalence on the geodesic normal coordinates. Guided by our theories, we find that the existing method is incomplete and a new strategy for noise injection is devised. Experiments on image generation and GAN inversion demonstrate the superiority of our method.

研究动机与目标

• 识别并形式化生成器在深度推进过程中因雅可比矩阵秩递减而产生的内在局限性。
• 解释为何噪声注入能有效缓解此局限性并增强GAN中生成器的表达能力。
• 开发一种广义的、基于几何原理的噪声注入方法，使其超越StyleGAN中使用的欧几里得形式化方法。
• 通过图像生成与GAN反演实验验证理论框架，展示性能指标的提升。

提出的方法

• 作者引入一种基于黎曼流形理论的几何框架，通过指数映射建模噪声注入，实现了噪声注入机制在非欧几里得空间中的推广。
• 他们将‘对抗维数陷阱’识别为GAN中的根本性问题，即生成器的表达能力受限于其雅可比矩阵秩的单调递减。
• 基于黎曼指数映射，推导出一种新颖的噪声注入公式，将StyleGAN中的标准欧几里得噪声注入推广至任意流形。
• 该方法将StyleGAN中的标准噪声注入重新解释为在平坦几何下，所提出的黎曼噪声注入（RNI）框架的特例。
• 该框架整合了路径长度正则化与条件数分析，用于评估GAN的数值稳定性和可逆性。
• 在FFHQ和LSUN-Church数据集上，通过FID、PPL与条件数指标开展实验，验证了该方法在性能上优于基线GAN与StyleGAN2。

实验结果

研究问题

• RQ1 为何在StyleGAN等最先进GAN中，噪声注入能显著提升图像质量与训练稳定性？
• RQ2 噪声注入增强GAN中生成器表达能力的潜在几何机制是什么？
• RQ3 生成器雅可比矩阵的秩缺陷如何限制其对复杂数据流形的建模能力？
• RQ4 噪声注入能否超越欧几里得设定，以更好地反映GAN中特征空间的内在几何结构？
• RQ5 所提出的黎曼噪声注入框架是否能在图像保真度、数值稳定性与GAN反演质量方面带来可测量的性能提升？

主要发现

• GAN中生成器的表达能力从根本上受限于其雅可比矩阵的秩，该秩随网络深度单调递减，导致‘对抗维数陷阱’。
• 噪声注入通过增加生成器输出流形的有效维度，有效缓解了此局限性，从而增强表达能力与泛化能力。
• 所提出的黎曼噪声注入（RNI）框架将StyleGAN中的标准噪声注入推广至非欧几里得几何，提供了更具原则性与灵活性的公式化方法。
• 在FFHQ数据集上，所提出的RNI方法实现了6.31的Fréchet Inception Distance（FID）与0.530的Per-Frèchet Feature Distance（PPL），优于StyleGAN2（FID: 6.31，PPL: 0.530）及其他基线方法。
• 条件数分析表明，RNI显著提升了数值稳定性，其平均条件数为0.530，前1000名平均条件数为1.05，表明其具备更强的鲁棒性。
• 在GAN反演任务中，该方法在具有挑战性的非正面或遮挡人脸图像上表现出更优性能，证明了其在潜在空间控制力与嵌入能力方面的增强。