[论文解读] Unsupervised Image-to-Image Translation via Pre-trained StyleGAN2 Network

Jialu Huang, Jing Liao+1 more|arXiv (Cornell University)|Oct 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用 11

一句话总结

本文提出了一种使用预训练的StyleGAN2模型进行无监督图像到图像翻译的方法，通过模型转换和潜在空间反演，在仅微调目标域的情况下实现高质量、多样化且语义忠实的域间翻译，显著降低训练资源消耗，同时保持图像保真度并避免模式崩溃，达到最先进性能。

ABSTRACT

Image-to-Image (I2I) translation is a heated topic in academia, and it also has been applied in real-world industry for tasks like image synthesis, super-resolution, and colorization. However, traditional I2I translation methods train data in two or more domains together. This requires lots of computation resources. Moreover, the results are of lower quality, and they contain many more artifacts. The training process could be unstable when the data in different domains are not balanced, and modal collapse is more likely to happen. We proposed a new I2I translation method that generates a new model in the target domain via a series of model transformations on a pre-trained StyleGAN2 model in the source domain. After that, we proposed an inversion method to achieve the conversion between an image and its latent vector. By feeding the latent vector into the generated model, we can perform I2I translation between the source domain and target domain. Both qualitative and quantitative evaluations were conducted to prove that the proposed method can achieve outstanding performance in terms of image quality, diversity and semantic similarity to the input and reference images compared to state-of-the-art works.

研究动机与目标

• 解决传统无监督I2I翻译方法的局限性，如计算成本高、训练不稳定以及因数据不平衡导致的模式崩溃。
• 在无需成对训练数据或源域与目标域生成器联合训练的情况下，实现多个域之间的高质量图像翻译。
• 在源域预训练后，仅在目标域上进行训练，从而显著降低资源消耗。
• 通过增量式模型转换，仅使用一个基础模型实现多域与多模态翻译。
• 相比现有SOTA方法，提升生成图像的保真度、多样性以及与输入/参考图像的语义相似性。

提出的方法

• 该方法从源域的预训练StyleGAN2生成器开始，通过保守微调和层操作，仅在目标域数据上微调，生成适用于目标域的转换后生成器。
• 模型转换定义为 T_X→Y(G_X)，其中 G_Y = T_X→Y(G_X)，且转换仅作用于目标域，以维持生成质量与训练稳定性。
• 提出一种反演方法，利用源域生成器将输入图像映射到其潜在码 z，从而在转换后的目标域生成器中通过 z 实现翻译。
• 通过选择性地交换风格空间中的层（LS），利用StyleGAN2的解耦风格空间，提升源域与目标域之间的语义对齐。
• 避免使用循环一致性损失和双向训练，降低训练复杂度，并在数据不平衡场景下防止模式崩溃。
• 采用冻结全连接层的微调策略（FC-FT），在保持生成器结构完整性的同时适应新域。

实验结果

研究问题

• RQ1 是否可以通过模型转换在不进行联合训练的情况下，有效将预训练的StyleGAN2模型适配到新目标域？
• RQ2 是否能将源域图像的潜在空间反演准确映射到转换后的目标域生成器，实现忠实的图像翻译？
• RQ3 所提方法是否在图像质量、多样性与语义相似性方面优于现有无监督I2I方法？
• RQ4 该方法是否能以更少模型数量支持多域翻译，相比传统方法？
• RQ5 模型转换过程中的层交换如何影响语义对齐与翻译质量？

主要发现

• 在 face2portrait 和 face2anime 翻译任务中，该方法分别取得32.480和52.930的最低FID分数，显著优于CycleGAN（54.472和78.452）与MUNIT（62.683和66.261）。
• 通过层交换（anime为LS-3，portrait为LS-5），该方法在 face2anime 上取得最优LPIPS_s分数0.468，表明与输入图像具有更优的语义相似性。
• FC-FT-LS变体在 face2anime 上取得最高LPIPS_d分数0.767，表明生成图像具有更优的多样性。
• 在图像反演任务中，SSIM得分为0.667，优于Image2StyleGAN（0.613）、IdInvert（0.623）与投影基线（0.655）。
• 模型距离度量显示，转换后的模型与基础模型保持接近，验证了保守微调与层操作的有效性。
• 该方法每域仅需一个模型，仅用四个模型即可实现四域中任意两域之间的任意I2I翻译，而传统方法需六个模型。