[论文解读] Towards Diverse and Faithful One-shot Adaption of Generative Adversarial Networks

Yabo Zhang, Mingshuai Yao+4 more|arXiv (Cornell University)|Jul 18, 2022

Domain Adaptation and Few-Shot Learning被引用 11

一句话总结

本文提出DiFa，一种新颖的一次性生成式域适应方法，仅需一张参考图像即可使预训练的GAN在新域中生成多样化且高质量的图像。通过结合基于CLIP的全局风格引导、用于局部细节对齐的关注式风格损失，以及W+潜在空间中的选择性跨域一致性，DiFa在多样性与保真度方面均达到最先进性能，尤其在域间差异较大的情况下表现优异。

ABSTRACT

One-shot generative domain adaption aims to transfer a pre-trained generator on one domain to a new domain using one reference image only. However, it remains very challenging for the adapted generator (i) to generate diverse images inherited from the pre-trained generator while (ii) faithfully acquiring the domain-specific attributes and styles of the reference image. In this paper, we present a novel one-shot generative domain adaption method, i.e., DiFa, for diverse generation and faithful adaptation. For global-level adaptation, we leverage the difference between the CLIP embedding of reference image and the mean embedding of source images to constrain the target generator. For local-level adaptation, we introduce an attentive style loss which aligns each intermediate token of adapted image with its corresponding token of the reference image. To facilitate diverse generation, selective cross-domain consistency is introduced to select and retain the domain-sharing attributes in the editing latent $\mathcal{W}+$ space to inherit the diversity of pre-trained generator. Extensive experiments show that our method outperforms the state-of-the-arts both quantitatively and qualitatively, especially for the cases of large domain gaps. Moreover, our DiFa can easily be extended to zero-shot generative domain adaption with appealing results. Code is available at https://github.com/1170300521/DiFa.

研究动机与目标

• 解决在仅有一张参考图像的情况下，将预训练GAN适配到新域时生成多样化且忠实图像的挑战。
• 克服现有基于CLIP的方法在保留局部风格细节方面存在的局限，以及引入不必要的域共享属性偏移的问题。
• 在忠实获取参考图像中的域特定属性与风格的同时，保持预训练生成器的多样性。
• 通过将方法扩展至无需参考图像的文本描述目标域，实现有效的零样本域适应。

提出的方法

• 利用参考图像的CLIP嵌入与源域图像平均CLIP嵌入之间的差异，引导全局层面的域适应。
• 引入关注式风格（AS）损失，将适配图像在CLIP图像编码器中间层的中间标记，与参考图像中最近似的对应标记进行对齐。
• 在W+潜在空间中应用选择性跨域一致性（SCC），以识别并保留域共享属性，从而在图像生成过程中保留预训练生成器的多样性。
• 使用StyleGAN反演模型将源域和目标域图像映射至W+空间，以计算域共享属性方向。
• 修改训练目标，以鼓励适配图像与源图像在域共享属性上保持相似性，同时允许在域特定属性上存在差异。
• 通过在CLIP空间中使用文本提示作为目标域描述，移除AS损失，将框架扩展至零样本GDA。

实验结果

研究问题

• RQ1 如何仅使用一张参考图像，在一次性GAN域适应中同时实现高多样性与忠实的风格迁移？
• RQ2 基于CLIP的全局引导与基于注意力的局部风格对齐在多大程度上能协同提升适配的保真度？
• RQ3 在W+空间中选择性保留域共享属性，是否能有效保持预训练生成器的多样性而不损害域适应质量？
• RQ4 当无参考图像仅提供目标域的文本描述时，该方法在零样本设置下的有效性如何？
• RQ5 该方法在如人脸到动物雕塑等大域间差异场景下是否具备良好的泛化能力？

主要发现

• DiFa在定量指标（如FID、FID-100）和定性评估中均优于最先进方法，尤其在如Cat→Tiger等大域间差异场景下表现突出。
• 关注式风格损失显著提升了局部属性保真度，能够忠实捕捉参考图像中的细粒度细节，如发色与纹理。
• 选择性跨域一致性成功通过在W+空间中选择性保留域共享属性，有效保持了预训练生成器的多样性。
• 适配后的生成器仍保持强大的潜在空间编辑能力，如成功将源域中的编辑方向（如年龄、性别）迁移至目标域。
• 该方法在零样本GDA设置下表现出色，相较于StyleGAN-NADA，在从FFHQ生成文本描述域（如“用黑色铅笔绘制的素描”）时产生更一致且更富多样的结果。
• 消融实验表明，AS损失与SCC损失均对实现高性能至关重要，任一组件的移除均导致FID与视觉质量显著下降。