[论文解读] Unsupervised Multi-Domain Image Translation with Domain-Specific Encoders/Decoders

Le Hui, Xiang Li+4 more|arXiv (Cornell University)|Dec 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 7

一句话总结

本文提出 Domain-Bank，一种新颖的无监督多域图像转换框架，采用全局共享自编码器与 $n$ 个特定于域的编码器/解码器，将模型参数量和训练时间复杂度降低至 $O(n)$，显著缓解了先前方法的 $O(n^2)$ 计算负担。该方法实现了高效、可扩展的多域图像转换，支持新增域的增量学习，并可实现线性风格融合，在人脸、时尚及风格迁移基准测试以及域自适应任务中均达到最先进性能。

ABSTRACT

Unsupervised Image-to-Image Translation achieves spectacularly advanced developments nowadays. However, recent approaches mainly focus on one model with two domains, which may face heavy burdens with large cost of $O(n^2)$ training time and model parameters, under such a requirement that $n$ domains are freely transferred to each other in a general setting. To address this problem, we propose a novel and unified framework named Domain-Bank, which consists of a global shared auto-encoder and $n$ domain-specific encoders/decoders, assuming that a universal shared-latent sapce can be projected. Thus, we yield $O(n)$ complexity in model parameters along with a huge reduction of the time budgets. Besides the high efficiency, we show the comparable (or even better) image translation results over state-of-the-arts on various challenging unsupervised image translation tasks, including face image translation, fashion-clothes translation and painting style translation. We also apply the proposed framework to domain adaptation and achieve state-of-the-art performance on digit benchmark datasets. Further, thanks to the explicit representation of the domain-specific decoders as well as the universal shared-latent space, it also enables us to conduct incremental learning to add a new domain encoder/decoder. Linear combination of different domains' representations is also obtained by fusing the corresponding decoders.

研究动机与目标

• 解决现有无监督图像到图像转换模型在域数量增加时计算成本与参数量呈二次方增长的问题。
• 通过引入 $n$ 个域之间的全局共享潜在空间，实现高效、可扩展的多域图像转换。
• 支持在不重新训练整个模型的前提下，对新域进行增量学习。
• 通过特定域解码器的线性组合，实现灵活的风格融合。
• 在多域图像转换与域自适应任务中实现最先进性能。

提出的方法

• 该框架采用共享潜在空间假设，即所有特定于域的编码器都将图像映射到一个通用的共享潜在空间。
• 通过在特定于域的编码器最后一层与特定于域的解码器第一层之间施加权重共享约束，以强制实现共享潜在空间。
• 模型由 $n$ 个组件库组成，每个库包含一个特定于域的编码器 $E_i$、解码器 $G_i$ 以及用于对抗训练的判别器 $D_i$。
• 训练损失结合了变分自编码器（VAE）重建损失、生成对抗网络（GAN）损失以及循环一致性损失，域自适应实验中去除了循环一致性分支。
• 在增量学习中，仅更新新增域的编码器/解码器与判别器，其余部分保持固定。
• 在风格融合中，目标解码器通过线性组合生成：$G^* = \lambda G_1 + (1-\lambda)G_2$，以生成具有混合风格的输出。

实验结果

研究问题

• RQ1 能否通过统一框架实现 $O(n)$ 复杂度的多域图像转换，而非传统的 $O(n^2)$？
• RQ2 共享潜在空间是否能有效表征多样化域的分布，同时支持高质量的图像转换？
• RQ3 该框架能否在不重新训练整个模型的前提下，支持新域的增量学习？
• RQ4 特定域解码器的线性组合能否实现可控的风格融合？
• RQ5 该框架是否在多域图像转换与域自适应任务中达到最先进性能？

主要发现

• 所提出的 Domain-Bank 框架将模型参数量与训练时间从 $O(n^2)$ 降低至 $O(n)$，实现了可扩展的多域图像转换。
• 在 SVHN→MNIST 域自适应任务中，该方法达到 0.9146% 的分类准确率，优于 UNIT 模型的 0.9053%。
• 在 MNIST→USPS 任务中，框架达到 0.9645% 的准确率，超过 UNIT 的 0.9597%。
• 在 USPS→MNIST 任务中，该方法达到 0.9412% 的准确率，高于 UNIT 的 0.9358%。
• 增量训练成功实现了新域的添加，仅更新新域组件的参数，同时保持原有域的性能不变。
• 解码器的线性组合实现了渐进式的风格融合，如图 8 所示，随着 $\lambda$ 值变化，生成图像风格逐步过渡。