[论文解读] Third Time's the Charm? Image and Video Editing with StyleGAN3

Yuval Alaluf, Or Patashnik+5 more|arXiv (Cornell University)|Jan 31, 2022

Generative Adversarial Networks and Image Synthesis被引用 4

一句话总结

本文研究了StyleGAN3在图像与视频编辑中的应用，表明尽管StyleGAN3具备从非对齐数据生成非对齐图像的能力，但使用对齐的训练数据可提升解耦编辑与重建性能。作者提出了一种新颖的视频重建与编辑流程，利用StyleGAN3的平移/旋转等变性，减少纹理粘连现象并扩展视野范围，通过基于编码器的重建与微调生成器，在真实图像与视频上实现了高保真度编辑。

ABSTRACT

StyleGAN is arguably one of the most intriguing and well-studied generative models, demonstrating impressive performance in image generation, inversion, and manipulation. In this work, we explore the recent StyleGAN3 architecture, compare it to its predecessor, and investigate its unique advantages, as well as drawbacks. In particular, we demonstrate that while StyleGAN3 can be trained on unaligned data, one can still use aligned data for training, without hindering the ability to generate unaligned imagery. Next, our analysis of the disentanglement of the different latent spaces of StyleGAN3 indicates that the commonly used W/W+ spaces are more entangled than their StyleGAN2 counterparts, underscoring the benefits of using the StyleSpace for fine-grained editing. Considering image inversion, we observe that existing encoder-based techniques struggle when trained on unaligned data. We therefore propose an encoding scheme trained solely on aligned data, yet can still invert unaligned images. Finally, we introduce a novel video inversion and editing workflow that leverages the capabilities of a fine-tuned StyleGAN3 generator to reduce texture sticking and expand the field of view of the edited video.

研究动机与目标

• 分析StyleGAN3潜在空间的解耦特性与StyleGAN2的对比。
• 评估现有基于编码器的重建技术在StyleGAN3上的性能，特别是针对非对齐数据的表现。
• 开发一种新型视频编辑工作流，利用StyleGAN3的等变性提升时间一致性并减少伪影。
• 探究在StyleGAN3中，对齐或非对齐的训练数据是否能带来更优的编辑与重建效果。
• 通过微调的StyleGAN3生成器与专用编码方案，实现真实图像与视频的高保真编辑。

提出的方法

• 在对齐数据上训练StyleGAN3生成器，以提升解耦性与重建性能，尽管其亦能从非对齐数据生成非对齐图像。
• 提出一种新型基于编码器的重建方法，仅在对齐数据上进行训练，但可成功重建非对齐的真实图像。
• 利用StyleGAN3的平移与旋转等变性，设计一种视频重建与编辑流程，以减少纹理粘连。
• 通过操控潜在码实现视野范围扩展技术，重建视频帧中被裁剪或部分遮挡的区域。
• 使用StyleGAN-NADA对StyleGAN3进行微调，以实现风格迁移与语义编辑，同时保持父模型与子模型之间潜在空间的一致性。
• 将现成的编辑技术（如InterFaceGAN、StyleCLIP）应用于通过所提重建流程获得的潜在码，实现真实图像与视频的编辑。

实验结果

研究问题

• RQ1 StyleGAN3的W与W+潜在空间相较于StyleGAN2的解耦性如何，特别是在W与W+空间中？
• RQ2 当应用于StyleGAN3时，现有基于编码器的重建方法能否有效重建非对齐的真实图像？
• RQ3 尽管StyleGAN3具备生成非对齐图像的能力，但在对齐数据上训练StyleGAN3是否能提升其编辑与重建性能，相较于非对齐训练？
• RQ4 是否可利用StyleGAN3的等变性来减少纹理粘连并提升视频编辑的时间一致性？
• RQ5 能否设计一种结合重建、编辑与视野范围扩展的视频编辑工作流，充分发挥StyleGAN3的架构优势？

主要发现

• StyleGAN3的W与W+潜在空间比StyleGAN2更具耦合性，表明StyleSpace更适合精细化编辑。
• 现有基于编码器的重建方法在应用于StyleGAN3时，对非对齐数据表现不佳，但仅在对齐数据上训练的新编码器在非对齐图像上也能达到相近的重建质量。
• 在对齐数据上训练的StyleGAN3能实现更优的解耦编辑与重建性能，尽管非对齐训练同样支持非对齐图像生成。
• 所提出的视频编辑流程通过利用StyleGAN3的平移与旋转等变性，有效减少了纹理粘连，实现了更优的时间一致性编辑效果。
• 视野范围扩展技术通过操控潜在码，成功重建了被裁剪的面部区域（如下巴、头发）在裁剪视频帧中的缺失部分。
• 使用StyleGAN-NADA微调的StyleGAN3生成器在潜在空间中保持了语义一致性，实现了父模型与子模型间的一致性编辑。