[论文解读] State-of-the-Art in the Architecture, Methods and Applications of StyleGAN

Amit H. Bermano, Rinon Gal+6 more|arXiv (Cornell University)|Feb 28, 2022

Cell Image Analysis Techniques被引用 9

一句话总结

本文全面综述了StyleGAN的架构、潜在空间特性及其应用，突出其在无监督学习下实现解耦且语义有意义的潜在空间，从而支持高保真图像编辑。文章回顾了生成对抗网络（GAN）反演与潜在空间编辑的方法，展示了通过微调生成器可实现对真实图像的高质量、可编辑重建，并探讨了其在分割和可解释性等判别性任务中的应用。

ABSTRACT

Generative Adversarial Networks (GANs) have established themselves as a prevalent approach to image synthesis. Of these, StyleGAN offers a fascinating case study, owing to its remarkable visual quality and an ability to support a large array of downstream tasks. This state-of-the-art report covers the StyleGAN architecture, and the ways it has been employed since its conception, while also analyzing its severe limitations. It aims to be of use for both newcomers, who wish to get a grasp of the field, and for more experienced readers that might benefit from seeing current research trends and existing tools laid out. Among StyleGAN's most interesting aspects is its learned latent space. Despite being learned with no supervision, it is surprisingly well-behaved and remarkably disentangled. Combined with StyleGAN's visual quality, these properties gave rise to unparalleled editing capabilities. However, the control offered by StyleGAN is inherently limited to the generator's learned distribution, and can only be applied to images generated by StyleGAN itself. Seeking to bring StyleGAN's latent control to real-world scenarios, the study of GAN inversion and latent space embedding has quickly gained in popularity. Meanwhile, this same study has helped shed light on the inner workings and limitations of StyleGAN. We map out StyleGAN's impressive story through these investigations, and discuss the details that have made StyleGAN the go-to generator. We further elaborate on the visual priors StyleGAN constructs, and discuss their use in downstream discriminative tasks. Looking forward, we point out StyleGAN's limitations and speculate on current trends and promising directions for future research, such as task and target specific fine-tuning.

研究动机与目标

• 为研究人员和从业者提供StyleGAN架构、训练过程及能力的全面概述。
• 分析StyleGAN无监督解耦潜在空间在实现语义图像编辑方面的优势与局限。
• 考察将真实图像反演到StyleGAN潜在空间的技术，以及重建质量与可编辑性之间的权衡。
• 探索通过微调生成器实现对真实世界图像的高质量、可编辑重建，拓展其应用范围，超越合成生成。
• 研究利用StyleGAN结构化潜在空间在下游判别性任务（如分割、回归和可解释性）中的应用。

提出的方法

• 分析StyleGAN架构，强调映射网络和风格调制在构建解耦且连续的潜在空间中的作用。
• 回顾GAN反演技术，包括基于优化和数据驱动的推理方法，以将真实图像映射到StyleGAN的潜在空间。
• 通过潜在空间中的线性算术操作研究潜在空间编辑，识别并利用解耦方向实现语义操控。
• 引入生成器微调方法，以提升重建质量和可编辑性，使用枢轴代码（pivot code）并施加正则化以保持解耦性。
• 应用超网络实现快速、前向传播的生成器调优，提升视频编辑中的时间一致性与可编辑性。
• 探索参数空间编辑，通过在生成器权重中发现可解释方向，实现仅通过潜在码无法达成的操控效果。

Figure 1. Images synthesized by StyleGAN, its followups and derivative works.

实验结果

研究问题

• RQ1 StyleGAN如何在无显式监督的情况下实现解耦且语义有意义的潜在空间？
• RQ2 将真实图像反演到StyleGAN潜在空间时，重建保真度与可编辑性之间的权衡是什么？
• RQ3 对生成器进行微调在多大程度上能提升真实图像重建的质量与可编辑性？
• RQ4 StyleGAN的潜在空间能否用于非生成性任务，如分割、可解释性和回归？
• RQ5 StyleGAN在处理非结构化或分布外数据时存在哪些局限性？可通过何种适应方法缓解？

主要发现

• StyleGAN的潜在空间具有显著的解耦性，支持线性算术操作，可实现精确的语义编辑，如年龄增长或性别转换。
• GAN反演在重建质量与可编辑性之间存在权衡，而通过微调生成器可在一分钟内实现高质量且可编辑的重建。
• 使用枢轴代码的微调可使现成的编辑技术应用于真实图像，并显著提升视觉质量。
• 基于超网络的调优可实现快速、前向传播的生成器自适应，提升视频编辑的时间一致性。
• 参数空间编辑发现了仅通过潜在码无法实现的操控（如改变汽车轮子大小）等效果。
• StyleGAN的结构化潜在空间支持分割、回归和可解释性等判别性任务，表明其在生成之外具有更广泛的应用价值。

Figure 2. Editing a real image of Scarlett Johansson (on the top left) with StyleGAN. We show both in-domain and out-of-domain manipulations.