[论文解读] One-Sided Unsupervised Domain Mapping

Sagie Benaim, Lior Wolf|arXiv (Cornell University)|Jun 2, 2017

Domain Adaptation and Few-Shot Learning参考文献 18被引用 55

一句话总结

本论文提出一种单边无监督域映射方法（DistanceGAN），通过保留跨域成对距离来学习从域 A 到域 B 的映射，而不需要逆映射，并在多个数据集上显示相较循环性约束的改进。

ABSTRACT

In unsupervised domain mapping, the learner is given two unmatched datasets $A$ and $B$. The goal is to learn a mapping $G_{AB}$ that translates a sample in $A$ to the analog sample in $B$. Recent approaches have shown that when learning simultaneously both $G_{AB}$ and the inverse mapping $G_{BA}$, convincing mappings are obtained. In this work, we present a method of learning $G_{AB}$ without learning $G_{BA}$. This is done by learning a mapping that maintains the distance between a pair of samples. Moreover, good mappings are obtained, even by maintaining the distance between different parts of the same sample before and after mapping. We present experimental results that the new method not only allows for one sided mapping learning, but also leads to preferable numerical results over the existing circularity-based constraint. Our entire code is made publicly available at https://github.com/sagiebenaim/DistanceGAN .

研究动机与目标

• 激励并实现从域 A 到域 B 的映射学习，无需成对样本，也无需学习逆映射。
• 提出基于距离的约束，强制映射前后成对距离之间的相关性。
• 表明基于距离的单边映射在多个数据集上可获得与循环性约束相媲美甚至更优的结果。
• 分析基于距离的约束的实际意义，包括自距离约束，对稳定的单边翻译的影响。

提出的方法

• 引入一个距离损失，最大化 A 中成对距离与映射到的空间 B 中的成对距离之间的相关性。
• 用距离保持目标替代或增强循环性约束：Ldistance = E|d_k − d′_k|，其中在 A 和 B 中使用归一化距离。
• 提出一个自距离约束，比较同一图像的左右两半，以鼓励稳定的映射。
• 使用 DiscoGAN 与 CycleGAN 的结构，在 GAB (A→B) 和 GBA (B→A) 的对抗损失基础上，结合距离损失与自距离损失进行训练。
• 证明在没有 GBA 的情况下学习 GAB 是可行的，并且在数值结果上可能优于循环性基线；在实验中提供每个数据集的参数设置。

实验结果

研究问题

• RQ1 是否能在不使用逆映射的情况下有效学习从域 A 到域 B 的单边映射？
• RQ2 在输入与映射后的输出之间强制基于距离的一致性是否能产生优于或可与循环一致性约束相媲美的结果？
• RQ3 自距离约束如何影响单边域映射的质量和稳定性？
• RQ4 基于距离的约束在不同域和架构（DiscoGAN/ CycleGAN 主干）下是否具有鲁棒性？

主要发现

• 单边距离约束可以在不学习 GBA 的情况下成功从 A 映射到 B。
• 基于距离的方法在多个数据集（例如 CelebA、马↔斑马、车↔头部等）上往往比基于循环的约束得到更好的数值结果。
• 距离约束可应用于完整的 RGB 像素值以及图像内的左右半部，提供灵活实现。
• 自距离约束提供了额外的逐步单样本正则化，可以改进或补充基于距离的方法。
• 将基于距离的方法与循环约束结合有时能获得最好结果，尽管在某些数据集上，该组合可能不如仅使用距离。