[论文解读] Unsupervised Image-to-Image Translation Networks

Ming-Yu Liu, Thomas M. Breuel+1 more|arXiv (Cornell University)|Mar 2, 2017

Generative Adversarial Networks and Image Synthesis参考文献 36被引用 517

一句话总结

这篇论文提出 UNIT，一种使用共享潜在空间、耦合的 VAE 和 GAN 的无监督图像到图像翻译框架，使得在没有成对样本的情况下实现两个领域之间的翻译，并在领域自适应基准上达到最新成果。

ABSTRACT

Unsupervised image-to-image translation aims at learning a joint distribution of images in different domains by using images from the marginal distributions in individual domains. Since there exists an infinite set of joint distributions that can arrive the given marginal distributions, one could infer nothing about the joint distribution from the marginal distributions without additional assumptions. To address the problem, we make a shared-latent space assumption and propose an unsupervised image-to-image translation framework based on Coupled GANs. We compare the proposed framework with competing approaches and present high quality image translation results on various challenging unsupervised image translation tasks, including street scene image translation, animal image translation, and face image translation. We also apply the proposed framework to domain adaptation and achieve state-of-the-art performance on benchmark datasets. Code and additional results are available in https://github.com/mingyuliutw/unit .

研究动机与目标

• 推动在只有领域边际分布可用的情况下实现无监督图像到图像翻译。
• 提出一个共享潜在空间假设，以耦合两个 VAE-GANs 实现跨领域翻译。
• 在对抗和循环一致性约束下联合训练翻译与重建流。
• 展示在街景、动物与人脸等场景上的高质量翻译，并应用于领域自适应。

提出的方法

• 提出一个六子网的 UNIT 框架，包含两个编码器 E1、E2、两个生成器 G1、G2，以及两个判别器 D1、D2。
• 通过在 E1、E2 的高层和 G1、G2 的低层实现权重共享来强制共享潜在空间。
• 以 VAE-GAN 目标来建模每个领域，包括 KL 正则化和通过 z ~ q(z|x) 的重建。
• 在翻译流上使用对抗损失，并通过来自共享潜在空间假设的循环一致性正则化实现。
• 在一个 mini-max 训练方案中联合优化 VAE 损失、GAN 损失和循环一致性损失。
• 通过潜在编码定义翻译函数 F1→2(x1)=G2(z1) 和 F2→1(x2)=G1(z2)。

实验结果

研究问题

• RQ1 一个共享潜在空间是否能够在没有成对数据的情况下实现两个图像领域的无监督翻译？
• RQ2 权重共享加上对抗训练是否能够带来一致的跨域映射？
• RQ3 循环一致性与共享潜在空间约束如何影响翻译质量？
• RQ4 UNIT 框架是否能够提升跨数据集的无监督领域自适应性能？

主要发现

• UNIT 框架在街景、动物和人脸等领域实现了高质量的无监督跨域翻译。
• 联合 VAE-GAN 训练并进行权重共享，强制共享潜在码，使得跨领域有对应的图像对。
• 消融研究表明，权重共享和循环一致性都提升翻译性能，完整模型表现最佳。
• 在领域自适应基准测试中，UNIT 在若干任务上超越了如 CoGAN 和 DTN 之类的前沿方法。
• 定性结果包括 sunny↔rainy、day↔night，以及 synthetic↔real 等跨域翻译，体现了真实感的跨领域变化。