[论文解读] Using latent space regression to analyze and leverage compositionality in GANs

Lucy Chai, Jonas Wulff+1 more|arXiv (Cornell University)|Mar 18, 2021

Generative Adversarial Networks and Image Synthesis参考文献 51被引用 30

一句话总结

本论文训练一个潜在空间回归器，将图像映射到固定GAN的潜在代码，从而通过利用GAN的潜在先验，在不需要标签的情况下实现实时、无标签编辑和组合，能够从图像部件生成连贯的复合图。

ABSTRACT

In recent years, Generative Adversarial Networks have become ubiquitous in both research and public perception, but how GANs convert an unstructured latent code to a high quality output is still an open question. In this work, we investigate regression into the latent space as a probe to understand the compositional properties of GANs. We find that combining the regressor and a pretrained generator provides a strong image prior, allowing us to create composite images from a collage of random image parts at inference time while maintaining global consistency. To compare compositional properties across different generators, we measure the trade-offs between reconstruction of the unrealistic input and image quality of the regenerated samples. We find that the regression approach enables more localized editing of individual image parts compared to direct editing in the latent space, and we conduct experiments to quantify this independence effect. Our method is agnostic to the semantics of edits, and does not require labels or predefined concepts during training. Beyond image composition, our method extends to a number of related applications, such as image inpainting or example-based image editing, which we demonstrate on several GANs and datasets, and because it uses only a single forward pass, it can operate in real-time. Code is available on our project page: https://chail.github.io/latent-composition/.

研究动机与目标

• 研究预训练的GAN的潜在空间是否包含对象与场景的组成表示。
• 开发一个快速的前馈潜在回归器，将图像映射到GAN潜在编码，并处理缺失像素。
• 通过将不现实的输入投射到GAN流形，实现实时的图像编辑和拼贴组成。
• 在不同架构和数据集上量化输入重建保真度与输出真实感之间的权衡。
• 展示该方法在修复、场景补全和数据集再平衡等任务中的无标签监督应用。

提出的方法

• 训练潜在回归网络E以从输入图像x预测潜在代码z，损失包含图像重建、感知以及潜在代码重建项。
• 在训练E时固定GAN生成器G（如ProGAN、StyleGAN），实现正向投影反演而不更新G。
• 通过提供掩蔽输入(x_m, m)处理缺失数据，并通过增加损失来学习在未知像素下的一致潜在编码。
• 将回归器-G组合作为强图像先验，将图像部件拼贴投射到图像流形并生成连贯的复合图像。
• 通过从部件创建拼贴x_clg，然后通过E和G重新投影得到x_rec来实现图像组成，便于混合、对齐和修复。
• 在多数据集上使用像掩蔽L1和FID等指标，比较基于编码器、基于优化和自编码器方法在重建与真实感之间的权衡。

实验结果

研究问题

• RQ1 预训练的GAN潜在代码是否编码了组成结构，从而允许对图像部件进行独立编辑？
• RQ2 单次前向传播的潜在回归器是否能够在没有标注属性的情况下实现对图像部件的真实感组成？
• RQ3 通过潜在回归进行的组成与简单的潜在空间或像素空间插值有何不同？
• RQ4 回归器在多大程度上能够处理不完整/缺失的输入区域并仍然生成连贯输出？
• RQ5 不同GAN架构和数据集上的组成特性有何变化？

主要发现

• 与固定生成器配对的回归器提供了强大的图像先验，能够从拼贴输入生成逼真的复合图像。
• 生成器的潜在代码已经编码了组成结构，能够在没有标注属性的情况下实现局部编辑。
• 编辑操作可以在单次前向传播中实时完成，避免迭代优化。
• 对输入进行掩蔽以模拟缺失数据使模型在尊重上下文的同时完成场景。
• 通过潜在回归进行的基于拼贴的组成在保留输入与输出真实感之间实现了帕累托式权衡，表现在L1重建与FID真实感之间。
• 在不同架构中，StyleGAN对局部变化控制更强，而ProGAN在重建-真实感等权衡方面呈现不同。