[论文解读] Resolution Dependent GAN Interpolation for Controllable Image Synthesis Between Domains

Justin N. M. Pinkney, Doron Adler|arXiv (Cornell University)|Oct 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 7被引用 61

一句话总结

该论文引入基于分辨率的层交换，在预训练 StyleGAN 模型之间进行域间插值，从而实现可控风格特征的新域生成。

ABSTRACT

GANs can generate photo-realistic images from the domain of their training data. However, those wanting to use them for creative purposes often want to generate imagery from a truly novel domain, a task which GANs are inherently unable to do. It is also desirable to have a level of control so that there is a degree of artistic direction rather than purely curation of random results. Here we present a method for interpolating between generative models of the StyleGAN architecture in a resolution dependent manner. This allows us to generate images from an entirely novel domain and do this with a degree of control over the nature of the output.

研究动机与目标

• 通过在生成模型之间的插值来从新域进行生成，同时保留与图像分辨率相关的可控特征。
• 利用不同 StyleGAN 层在捕捉特定分辨率特征方面的已知作用，以实现受控的跨域合成。
• 通过基于层的模型插值演示用于 toonification 和 ukiyo-e 风格迁移的实用方法。

提出的方法

• 定义一个基于分辨率的层交换方案，在基模型和转移模型之间进行插值。
• 通过在新域上进行迁移学习训练转移模型，并将映射网络参数固定为基模型的参数。
• 通过选择来自基模型或转移模型的每层贡献，构造插值权重 p_interp，取决于层的分辨率 r 和交换阈值 r_swap。
• 使用插值模型生成结合一个域的结构特征与另一个域的渲染的图像。
• 提供一种编码/嵌入方法，将任意人脸映射到基模型的潜在空间，以获得 toonified 输出。

实验结果

研究问题

• RQ1 分辨率相关的 StyleGAN 模型层交换是否能在基模或转移数据集中都不存在的新域中生成图像？
• RQ2 通过选择交换的分辨率层，我们在结构特征与渲染质量之间的平衡控制程度有多大？
• RQ3 将任意人脸编码到基模型将如何影响使用插值模型时的 toonified 输出？
• RQ4 在 StyleGAN2 框架内，哪些实际的迁移学习设置（数据集、训练时长）能产生稳定的插值结果？

主要发现

• 在不同分辨率进行层交换可生成具有混合域特征的图像，例如具有卡通风格结构和照片级渲染。
• 在基模和插值模之间使用相同潜在向量时，插值模型可以保留广义身份特征。
• 来自基模型的高分辨率层与来自转移模型的低分辨率层结合，会产生具有卡通结构特征与逼真纹理的输出。
• 相同的潜在输入可以生成 Toonified 输出，同时保留身份并采用新的风格结构。