[论文解读] XOGAN: One-to-Many Unsupervised Image-to-Image Translation

Yongqi Zhang|arXiv (Cornell University)|May 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 3被引用 5

一句话总结

XOGAN 提出了一种具有 'XO' 结构的条件生成对抗网络，通过引入一个解耦的潜在变量 Z 来解决一对一无监督图像到图像翻译问题，该 Z 可控制颜色、纹理等多样化的图像变化。该模型实现了可控的图像翻译，包括图像之间的颜色替换，同时在 edges-to-shoes、edges-to-handbags 和 CelebA 数据集上保持了循环一致性与域对抗训练，实现了高保真度、多样化的生成结果。

ABSTRACT

Unsupervised image-to-image translation aims at learning the relationship between samples from two image domains without supervised pair information. The relationship between two domain images can be one-to-one, one-to-many or many-to-many. In this paper, we study the one-to-many unsupervised image translation problem in which an input sample from one domain can correspond to multiple samples in the other domain. To learn the complex relationship between the two domains, we introduce an additional variable to control the variations in our one-to-many mapping. A generative model with an XO-structure, called the XOGAN, is proposed to learn the cross domain relationship among the two domains and the ad- ditional variables. Not only can we learn to translate between the two image domains, we can also handle the translated images with additional variations. Experiments are performed on unpaired image generation tasks, including edges-to-objects translation and facial image translation. We show that the proposed XOGAN model can generate plausible images and control variations, such as color and texture, of the generated images. Moreover, while state-of-the-art unpaired image generation algorithms tend to generate images with monotonous colors, XOGAN can generate more diverse results.

研究动机与目标

• 为解决单个源图像可映射到多个目标图像的一对多无监督图像到图像翻译挑战。
• 在无配对训练数据的情况下建模复杂且多样的图像变化，如颜色和纹理。
• 通过引入额外的潜在变量 Z 解耦内容与属性因子，实现可控的图像生成。
• 通过保持循环一致性和域对抗训练，确保跨域翻译的忠实性与逼真的图像合成。

提出的方法

• 提出一种 'XO' 结构的 GAN 架构，包含两个生成器：$G_A: \mathcal{B} \rightarrow \mathcal{A}$ 和 $G_B: (\mathcal{A}, Z) \rightarrow \mathcal{B}$，支持双向翻译。
• 使用从标准正态分布采样的潜在变量 $Z \sim \mathcal{N}(0, I)$ 来控制生成图像中的变化。
• 应用循环一致性损失，以在不同域之间强制重建图像与原始图像的一致性。
• 实施域对抗损失，以确保 $\mathcal{B}$ 域中的生成图像在分布上与真实图像无法区分。
• 采用身份损失，以在域之间来回翻译时保持内容不变。
• 使用判别器来区分真实图像与生成图像，从而确保图像质量的逼真性。

实验结果

研究问题

• RQ1 生成模型能否在无配对训练数据的情况下学习一对多图像翻译，从而从单一输入生成多样化输出？
• RQ2 如何通过解耦的潜在变量控制无监督翻译中的特定图像属性（如颜色和纹理）？
• RQ3 通过操纵潜在码 Z，模型在多大程度上能够实现属性替换（例如颜色替换）？
• RQ4 循环一致性与域对抗训练的结合是否能提升无配对翻译中图像的保真度与多样性？
• RQ5 该模型能否泛化到多样化的图像翻译任务中，如 edges-to-shoes、edges-to-handbags 和面部属性编辑？

主要发现

• XOGAN 模型在两个方向（例如 edges-to-shoes 和 shoe-to-edges）上成功生成了多样化且高保真的图像，保持了形状一致但颜色多变。
• 潜在码 $Z$ 有效编码了图像属性（如颜色），实现了颜色替换：通过交换 $Z$，可将一张图像的颜色替换为另一张图像的颜色。
• 当在不同边缘输入上使用相同的 $Z$ 时，模型生成的物体颜色保持一致，证明了其可控性。
• 与最先进的一对多无配对翻译方法相比，该模型在生成多样化结果方面表现更优，避免了单调的颜色输出。
• 循环一致性损失与域对抗损失共同作用，确保了逼真的图像生成与忠实的域映射。
• 在 edges2shoes、edges2handbags 和 CelebA 上的实验表明，$Z$ 具有意义且解耦，经由属性迁移与视觉一致性验证。