[论文解读] StyleRes: Transforming the Residuals for Real Image Editing with StyleGAN

Hamza Pehlivan, Yusuf Dalva+1 more|arXiv (Cornell University)|Dec 29, 2022

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

StyleRes 提出了一种单阶段框架，通过在高比特率潜在码中学习残差特征并基于编辑内容对其进行变换，从而提升 StyleGAN 中的图像重建与编辑质量。通过结合循环一致性损失和对抗性损失，该方法在重建保真度和编辑质量方面达到当前最优水平，有效保留了面部特征、配饰和背景等细微细节。

ABSTRACT

We present a novel image inversion framework and a training pipeline to achieve high-fidelity image inversion with high-quality attribute editing. Inverting real images into StyleGAN's latent space is an extensively studied problem, yet the trade-off between the image reconstruction fidelity and image editing quality remains an open challenge. The low-rate latent spaces are limited in their expressiveness power for high-fidelity reconstruction. On the other hand, high-rate latent spaces result in degradation in editing quality. In this work, to achieve high-fidelity inversion, we learn residual features in higher latent codes that lower latent codes were not able to encode. This enables preserving image details in reconstruction. To achieve high-quality editing, we learn how to transform the residual features for adapting to manipulations in latent codes. We train the framework to extract residual features and transform them via a novel architecture pipeline and cycle consistency losses. We run extensive experiments and compare our method with state-of-the-art inversion methods. Qualitative metrics and visual comparisons show significant improvements. Code: https://github.com/hamzapehlivan/StyleRes

研究动机与目标

• 为解决基于 GAN 的图像重建中重建保真度与可编辑性之间的权衡问题，其中高重建保真度往往以牺牲编辑质量为代价。
• 通过捕捉低比特率编码所遗漏的高比特率潜在码中的残差特征，实现真实图像的高保真重建。
• 学习残差特征的自适应变换，使其与潜在码操作对齐，从而实现高质量的图像编辑。
• 训练一个单阶段模型，联合优化重建与可编辑性，无需迭代优化或针对每张图像进行调优。
• 在属性编辑过程中，提升对细微特征（如面部特征、配饰和背景元素）的保留能力。

提出的方法

• 该框架采用一种新颖的编码器架构，从生成器的低层和高层提取特征，学习低比特率编码中缺失的残差特征。
• 引入两个模块 $E_1$ 和 $E_2$，分别处理原始和编辑后的特征，以学习如何对残差特征进行变换以实现编辑。
• 模型通过对抗性损失和循环一致性损失进行训练：在编辑潜在码后，系统需重建原始图像。
• 训练期间，通过在潜在码之间进行随机插值来模拟编辑，使模型能泛化到未见过的编辑类型，而无需预定义编辑类型。
• 该架构端到端可训练，且仅需一次前向推理，避免了先前方法中使用的迭代优化。
• 该框架利用预训练的 StyleGAN 生成器解码特征，确保编辑结果在语义上的一致性。

Figure 2 : When images are encoded to W+ space, as shown in (b), the reconstructions miss many image details. However, the edits are in good quality (c). Additional features can be learned in higher-rate latent codes. For example, skip connections from encoder to generator in higher resolution featu

实验结果

研究问题

• RQ1 高比特率潜在码中的残差特征是否能超越低比特率编码的极限，提升图像重建保真度？
• RQ2 可学习的残差特征变换是否能适应多样的潜在码操作，并在编辑过程中保留图像细节？
• RQ3 循环一致性损失是否能有效正则化网络，在反转编辑时保留输入细节？
• RQ4 单阶段、非迭代的框架是否能在重建与编辑质量两方面均优于现有的基于优化或多阶段的重建方法？
• RQ5 该方法在属性编辑过程中，对细微图像细节（如面部雀斑、耳环和背景纹理）的保留程度如何？

主要发现

• StyleRes 在图像重建与属性编辑方面均达到当前最优性能，在与 e4e、HFGI 和 HyperStyle 的定性比较中表现更优。
• 在所比较的方法中，它是唯一一种在各种编辑中均能一致保留细微细节（如面部雀斑、耳环、双手和帽子）的方法。
• 即使在姿态变化和色彩调整等复杂编辑中，模型仍能保持高重建保真度，无可见伪影或身份丢失。
• 消融实验证实，$E_1$ 和 $E_2$ 模块对学习残差特征及其变换均至关重要，若省略任一模块，性能会显著下降。
• 引入循环一致性损失显著提升了编辑过程中的细节保留能力，视觉对比显示该约束效果明显。
• 与基于优化的基线方法相比，该方法推理速度更快，仅需单次前向传播，无需迭代优化。

Figure 3 : StyleRes encodes missing features for high-fidelity reconstruction of given input via the first encoder, $E_{1}$ . Those encoded features are the ones which could not be encoded to low-rate W+ space via $E_{0}$ due to the information bottleneck. Through the second encoder, $E_{2}$ , Style