[论文解读] Twin-GAN -- Unpaired Cross-Domain Image Translation with Weight-Sharing GANs

Jerry Li|arXiv (Cornell University)|Aug 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 20被引用 15

一句话总结

Twin-GAN 提出了一种新颖的无配对跨域图像转换框架，通过共享权重的生成器和判别器，实现在无配对数据下逼真且身份保持的面部图像转换。它通过结合循环一致性、语义一致性以及跳跃连接的 U-Net 架构，在基准数据集上实现了最先进性能，优于 CycleGAN、UNIT 和 MUNIT，提升了特征对齐效果并减少了伪影。

ABSTRACT

We present a framework for translating unlabeled images from one domain into analog images in another domain. We employ a progressively growing skip-connected encoder-generator structure and train it with a GAN loss for realistic output, a cycle consistency loss for maintaining same-domain translation identity, and a semantic consistency loss that encourages the network to keep the input semantic features in the output. We apply our framework on the task of translating face images, and show that it is capable of learning semantic mappings for face images with no supervised one-to-one image mapping.

研究动机与目标

• 解决现有无配对图像转换方法依赖于受限共享潜在空间假设的局限性。
• 在无需配对训练数据的情况下，实现在人脸与动漫/猫脸等域之间的逼真、身份保持的图像转换。
• 通过在生成器中引入语义一致性损失和跳跃连接，改善语义特征保留并减少伪影。
• 证明仅通过共享编码器权重，即可从无配对数据中学习到有意义的跨域语义对应关系。
• 提供一种可控且稳定的跨域图像转换框架，避免模式崩溃并保持结构保真度。

提出的方法

• 采用具有跨域共享权重的孪生生成器-判别器架构，以强化参数效率和域不变性。
• 使用渐进式生长、带有跳跃连接的 U-Net 结构编码器-生成器，以在转换过程中保留空间和语义细节。
• 应用循环一致性损失，确保从域 X 到 Y 再返回 X 的图像转换能恢复原始输入。
• 引入语义一致性损失，促使网络在转换输出中保留输入的语义特征。
• 使用 GAN 损失配合 DRAGAN（多样化相对性 GAN）进行训练，以提升训练稳定性和更快收敛。
• 采用特征自适应实例归一化，以解耦内容与风格，尽管由于对细粒度风格属性控制有限，风格嵌入被设为可选。

实验结果

研究问题

• RQ1 共享权重的 GAN 框架是否能在无配对训练数据下实现高保真、身份保持的图像转换？
• RQ2 循环一致性与语义一致性损失的结合是否能改善无配对图像转换中的特征对齐并减少伪影？
• RQ3 U-Net 架构中引入跳跃连接如何影响局部语义对应关系的保持？
• RQ4 能否通过共享编码器从无配对数据中学习到有意义的跨域语义嵌入？
• RQ5 该模型在高度不相似的域（如人脸到猫脸，或游戏风格到真实世界图像）上的泛化能力如何？

主要发现

• 在 CelebA 数据集上，Twin-GAN 超越了 CycleGAN、UNIT 和 MUNIT，当所有损失和 UNet 均启用时，Sliced Wasserstein Score 达到 14.84，而未使用语义一致性损失时为 18.38。
• 消融研究显示，若移除循环损失，性能下降至 Sliced Wasserstein Score 38.29，表明其在维持身份映射中的关键作用。
• 语义一致性损失显著提升性能，将 Sliced Wasserstein Score 从无语义损失时的 18.38 降低至有语义损失时的 14.84。
• U-Net 架构有效减少了如镜像人脸方向等伪影，这在无跳跃连接的模型中较为常见，其定性结果在人脸到猫脸转换中已得到验证。
• 模型成功学习到有意义的跨域语义对应关系，如发型、面部朝向和服装，这通过潜在空间中的最近邻检索得到验证。
• 尽管在人脸转换任务中表现强劲，该模型在高度不相似的域（如我的世界到真实街景）上仍出现崩溃，即使在低分辨率下亦然，表明其在 3D 推理和视角泛化方面存在局限。