[论文解读] TransGaGa: Geometry-Aware Unsupervised Image-to-Image Translation

Wayne Wu, Kaidi Cao+3 more|arXiv (Cornell University)|Apr 21, 2019

Generative Adversarial Networks and Image Synthesis参考文献 49被引用 10

一句话总结

TransGaGa 提出了一种几何感知的无监督图像到图像翻译框架，将图像表征解耦到独立的外观和几何潜在空间中，从而在大尺度形状变化下实现鲁棒的翻译。通过利用带有 KL 散度和跳跃连接设计的条件变分自编码器（conditional VAE），结合循环一致性损失和 VGG 损失，该方法在具有挑战性的近刚性与非刚性物体翻译任务上实现了最先进性能，包括通过样本引导翻译实现多模态生成。

ABSTRACT

Unsupervised image-to-image translation aims at learning a mapping between two visual domains. However, learning a translation across large geometry variations always ends up with failure. In this work, we present a novel disentangle-and-translate framework to tackle the complex objects image-to-image translation task. Instead of learning the mapping on the image space directly, we disentangle image space into a Cartesian product of the appearance and the geometry latent spaces. Specifically, we first introduce a geometry prior loss and a conditional VAE loss to encourage the network to learn independent but complementary representations. The translation is then built on appearance and geometry space separately. Extensive experiments demonstrate the superior performance of our method to other state-of-the-art approaches, especially in the challenging near-rigid and non-rigid objects translation tasks. In addition, by taking different exemplars as the appearance references, our method also supports multimodal translation. Project page: https://wywu.github.io/projects/TGaGa/TGaGa.html

研究动机与目标

• 解决现有无监督图像到图像翻译方法在处理域间大尺度几何变化时的失败问题。
• 实现外观和几何的解耦表征学习，以提升翻译的鲁棒性。
• 在无需成对训练数据的情况下，支持多模态和样本引导的图像翻译。
• 在具有显著形状差异的域之间进行翻译时，保持姿态和结构一致性。

提出的方法

• 该方法通过带有 KL 散度和跳跃连接设计的条件变分自编码器，将图像空间解耦为外观和几何潜在空间的笛卡尔积。
• 引入几何先验损失，以促使网络学习独立且互补的几何与外观表征。
• 通过专用的变换器模型，分别在解耦的外观和几何潜在空间中执行翻译。
• 应用循环一致性损失以保持源图像与翻译图像之间的结构对齐和姿态一致性。
• 使用 VGG 感知损失以增强生成图像的真实感。
• 通过从目标域图像中迁移外观特征，同时保留已翻译的几何结构，实现样本引导的生成。

实验结果

研究问题

• RQ1 无监督图像到图像翻译能否在域间存在大尺度几何变化时保持鲁棒性？
• RQ2 能否在无监督设置下有效解耦外观与几何表征，以提升翻译质量？
• RQ3 解耦的潜在空间能否支持多模态和样本引导的图像生成？
• RQ4 关键组件如循环一致性损失、KL 损失和 VGG 损失对翻译性能有何贡献？

主要发现

• TransGaGa 在涉及近刚性与非刚性物体的挑战性翻译任务（如马到长颈鹿、猫到人脸）中实现了最先进性能。
• 该方法保持了高姿态一致性，如样本引导翻译中，无论输入样本形状如何，几何结构均保持忠实。
• 在解耦的潜在空间中进行线性插值可实现几何与外观的平滑过渡，表明流形覆盖密集且具有语义意义。
• 消融实验表明，循环一致性损失对姿态保持至关重要，而 VGG 损失可减少模糊性并提升真实感。
• 在人脸从人到猫的翻译任务中，感知评估的欺骗率为 23.9%，优于消融变体。
• 若无循环一致性损失，感知分数仍保持较高水平（16.8%），表明循环损失对结构保真度的重要性超过对图像质量的影响。