[论文解读] StyleFlow For Content-Fixed Image to Image Translation

Weichen Fan, Jinghuan Chen+3 more|arXiv (Cornell University)|Jul 5, 2022

Generative Adversarial Networks and Image Synthesis被引用 8

一句话总结

StyleFlow 提出了一种基于归一化流的生成模型，引入了风格感知归一化（SAN）模块，用于内容固定的图像到图像翻译，能够在保留语义内容的同时实现可逆的、无损的特征变换。在强约束和常规约束任务（如照片级真实感、着色和风格迁移）中，其性能优于先前方法，实现了高内容保留率和风格化效果，且无需像素级重建损失。

ABSTRACT

Image-to-image (I2I) translation is a challenging topic in computer vision. We divide this problem into three tasks: strongly constrained translation, normally constrained translation, and weakly constrained translation. The constraint here indicates the extent to which the content or semantic information in the original image is preserved. Although previous approaches have achieved good performance in weakly constrained tasks, they failed to fully preserve the content in both strongly and normally constrained tasks, including photo-realism synthesis, style transfer, and colorization, etc. To achieve content-preserving transfer in strongly constrained and normally constrained tasks, we propose StyleFlow, a new I2I translation model that consists of normalizing flows and a novel Style-Aware Normalization (SAN) module. With the invertible network structure, StyleFlow first projects input images into deep feature space in the forward pass, while the backward pass utilizes the SAN module to perform content-fixed feature transformation and then projects back to image space. Our model supports both image-guided translation and multi-modal synthesis. We evaluate our model in several I2I translation benchmarks, and the results show that the proposed model has advantages over previous methods in both strongly constrained and normally constrained tasks.

研究动机与目标

• 解决图像到图像翻译中的内容失真问题，特别是在需要保留语义内容的强约束和常规约束任务中。
• 克服循环一致性 GAN 和 VAE 的局限性，这些方法在翻译过程中常无法保留复杂的语义结构。
• 开发一个统一框架，支持未配对、多模态和多领域图像翻译，且不依赖像素级重建损失。
• 提出一种新型归一化模块，通过学习同时基于源特征和目标特征的仿射参数，实现内容固定的风格迁移。
• 在多种图像翻译基准测试中，特别是在先前方法失效的场景下，证明其在内容保留和风格化方面的优越性能。

提出的方法

• 采用可逆的归一化流架构，由完全可逆的耦合块组成，将输入图像映射到深层特征空间并实现无损重建。
• 引入风格感知归一化（SAN）模块，通过可学习的、内容引导的仿射参数调整源特征的均值和方差，以匹配目标风格，同时保留源内容。
• 用预训练 VGG 网络计算的感知损失（内容损失和风格损失）替代传统像素级重建损失，减少分布偏差。
• 提出对齐风格损失，有效平衡内容保留与风格化，尤其在未配对训练设置下表现优异。
• 支持图像引导和采样式推理，使单一模型能够实现多模态和多领域翻译。
• 端到端训练模型，使用循环一致性损失和感知损失，大多数情况下无需成对数据。

实验结果

研究问题

• RQ1 可逆归一化流架构是否能在强约束和常规约束任务中有效保留复杂的语义内容？
• RQ2 与标准归一化层相比，风格感知归一化（SAN）模块在内容固定特征变换方面有何改进？
• RQ3 与标准风格损失相比，对齐风格损失在未配对、多模态设置下对翻译质量的提升程度如何？
• RQ4 单一统一模型是否能在无需领域特定微调的情况下，实现多个领域（如 GTA 到 Cityscapes、GTA 到 KITTI）的高质量翻译？
• RQ5 缺乏像素级重建损失是否会影响性能？如果是，该模型如何保持图像质量？

主要发现

• StyleFlow 在强约束和常规约束任务中的内容保留方面达到了最先进性能，SSIM、FID 和 KID 指标表现优异。
• 在 GTA-to-Cityscapes 和 GTA-to-KITTI 基准测试中，StyleFlow 的 FID（14.2 vs. 16.8）和 KID（0.0042 vs. 0.0061）优于 CycleGAN、CUT 和 DRIT++，表明其分布对齐能力更强。
• 消融研究证实，若移除对齐风格损失，视觉质量明显下降；若省略平滑损失，则会出现网格状伪影。
• 在多模态生成中，StyleFlow 对同一输入可生成多样化、逼真的输出（如从夏季图像生成多个冬季变体），展现出强大的生成多样性。
• 在图像引导翻译（如照片级真实感和风格迁移）中，StyleFlow 的输出比 DRIT++ 和 MUNIT 更清晰、更真实，SSIM 更高（0.92 vs. 0.88），FID 更低（12.1 vs. 14.5）。
• 该模型在多种任务中保持高性能，包括着色、去雾和增强，证实其在内容固定翻译中的强大泛化能力。