[论文解读] Style Generator Inversion for Image Enhancement and Animation

Aviv Gabbay, Yedid Hoshen|arXiv (Cornell University)|Jun 5, 2019

Generative Adversarial Networks and Image Synthesis参考文献 33被引用 17

一句话总结

本文提出了一种新颖的StyleGAN生成器反演方法，使其可作为强大图像先验用于图像增强与动画生成。通过利用StyleGAN潜在空间的可逆性与线性解耦特性，该方法在无需训练的情况下实现了1024×1024分辨率下的无监督人脸重动画，其性能优于以往的GAN模型与Deep Image Prior在图像修复任务中的表现。

ABSTRACT

One of the main motivations for training high quality image generative models is their potential use as tools for image manipulation. Recently, generative adversarial networks (GANs) have been able to generate images of remarkable quality. Unfortunately, adversarially-trained unconditional generator networks have not been successful as image priors. One of the main requirements for a network to act as a generative image prior, is being able to generate every possible image from the target distribution. Adversarial learning often experiences mode-collapse, which manifests in generators that cannot generate some modes of the target distribution. Another requirement often not satisfied is invertibility i.e. having an efficient way of finding a valid input latent code given a required output image. In this work, we show that differently from earlier GANs, the very recently proposed style-generators are quite easy to invert. We use this important observation to propose style generators as general purpose image priors. We show that style generators outperform other GANs as well as Deep Image Prior as priors for image enhancement tasks. The latent space spanned by style-generators satisfies linear identity-pose relations. The latent space linearity, combined with invertibility, allows us to animate still facial images without supervision. Extensive experiments are performed to support the main contributions of this paper.

研究动机与目标

• 为解决传统GAN模型在可逆性与模式崩溃方面的不足，从而限制其作为图像先验的应用。
• 证明尽管经过对抗性训练，StyleGAN生成器仍具备可逆性，能够以高保真度重建真实图像。
• 利用StyleGAN潜在空间中身份与姿态的线性解耦特性，实现无监督的面部动画。
• 确立StyleGAN作为超分辨率与图像修复等图像增强任务的最先进图像先验。
• 通过潜在码操作实现无需训练、即插即用的面部重动画，将视频中的运动迁移至静态图像。

提出的方法

• 通过感知损失与L2正则化优化潜在码，实现真实图像的反演，从而重建分布内的图像。
• 利用StyleGAN潜在空间的解耦特性，其中身份与姿态可线性分离，实现语义编辑。
• 通过计算帧间姿态码的差异，并将该差异应用于目标身份码，实现从源视频到目标静态图像的面部运动迁移。
• 对优化后的潜在码序列应用移动平均滤波器，以减少亮度与背景伪影，并确保运动平滑性。
• 采用每层一个潜在码（逐层潜在码优化）的方式，提升重建质量，超越全局潜在码输入的效果。
• 通过将修改后的潜在码输入预训练的StyleGAN生成器，合成动画视频。

实验结果

研究问题

• RQ1 尽管存在对抗性训练与模式崩溃，StyleGAN生成器是否能通过潜在码优化实现真实图像的有效反演？
• RQ2 StyleGAN潜在空间在多大程度上支持身份与姿态的线性解耦？
• RQ3 可逆的StyleGAN能否作为强大图像先验，用于超分辨率与图像修复等图像增强任务？
• RQ4 能否仅通过潜在码操作，无需任何监督，实现将视频中的运动迁移到静态图像？
• RQ5 所提出的方法是否能在高分辨率（1024×1024）下实现高保真、无需训练的面部重动画？

主要发现

• 通过潜在码优化，StyleGAN生成器具备可逆性，即使在分布内样本中也能实现高保真度的真实图像重建。
• 在超分辨率与图像修复基准测试中，该方法在LPIPS指标下显著优于以往基于GAN的先验与Deep Image Prior。
• 潜在空间中身份与姿态的线性解耦特性，使得在1024×1024分辨率下实现可靠的无监督面部重动画成为可能。
• 仅通过潜在码差异与移动平均滤波器，无需任何监督或微调，即可实现运动迁移，并有效减少伪影。
• 逐层潜在码优化在重建质量上优于全局潜在码输入，提示未来模型可进一步优化架构设计。
• 通过优化后的潜在码成功在真实图像上实现了属性翻转，证明了无需监督即可实现语义可控性。