[论文解读] Rethinking conditional GAN training: An approach using geometrically structured latent manifolds

Sameera Ramasinghe, Moshiur Farazi+3 more|arXiv (Cornell University)|Nov 25, 2020

Cell Image Analysis Techniques被引用 4

一句话总结

本文提出了一种用于条件 GAN 的几何结构化训练方法，通过在潜在空间与输出流形之间强制实现双-Lipschitz 映射，显著提升了样本的多样性与视觉质量，且无需修改网络架构。通过仅修改训练目标——具体而言，将标准对抗损失替换为几何感知损失——其方法 Pix2Pix-Geo 在图像到图像翻译任务中实现了最先进性能，同时保持了流形结构。

ABSTRACT

Conditional GANs (cGAN), in their rudimentary form, suffer from critical drawbacks such as the lack of diversity in generated outputs and distortion between the latent and output manifolds. Although efforts have been made to improve results, they can suffer from unpleasant side-effects such as the topology mismatch between latent and output spaces. In contrast, we tackle this problem from a geometrical perspective and propose a novel training mechanism that increases both the diversity and the visual quality of a vanilla cGAN, by systematically encouraging a bi-lipschitz mapping between the latent and the output manifolds. We validate the efficacy of our solution on a baseline cGAN (i.e., Pix2Pix) which lacks diversity, and show that by only modifying its training mechanism (i.e., with our proposed Pix2Pix-Geo), one can achieve more diverse and realistic outputs on a broad set of image-to-image translation tasks. Codes are available at https://github.com/samgregoost/Rethinking-CGANs.

研究动机与目标

• 为解决原始条件 GAN（cGAN）在图像到图像翻译任务中普遍存在的多样性不足与流形畸变问题。
• 解决潜在空间与输出流形之间的拓扑不匹配问题，即潜在空间中的欧氏路径并不对应于生成流形上的测地线。
• 在 dropout 之外进一步提升生成器的随机性，确保生成器真正利用潜在噪声，而非仅依赖随机种子。
• 缓解对抗损失与重建损失之间的损失不匹配问题，该问题会损害视觉质量与多样性。
• 证明仅通过优化层面的修改即可实现性能提升，而无需引入架构复杂性。

提出的方法

• 提出一种新颖的训练目标，强制在潜在空间与输出流形之间实现双-Lipschitz 映射，以保持几何结构。
• 将 cGAN 中的标准对抗损失替换为一种几何感知损失，使潜在空间中的欧氏路径与输出流形上的测地线对齐。
• 采用改进的目标函数，结合特征重建损失、风格损失与总变差损失，以在保持几何保真度的同时稳定训练过程。
• 将该方法应用于基线 Pix2Pix 模型，构建一种新变体 Pix2Pix-Geo，其仅修改训练流程，不改变网络架构。
• 通过优化手段强制潜在空间与输出流形之间的连续性与双射性，确保潜在空间的操纵能产生有意义且平滑的插值。
• 在多种图像到图像翻译任务上验证该方法，包括草图到人脸、边缘到鞋子、语义分割到人脸等，采用定性与定量评估。

实验结果

研究问题

• RQ1 是否可以通过几何结构化的潜在流形，在不修改架构的前提下提升条件 GAN 的多样性与视觉质量？
• RQ2 在潜在空间与输出流形之间强制实现双-Lipschitz 映射，是否能减少拓扑不匹配并提升插值质量？
• RQ3 是否可通过一种几何感知的训练目标缓解对抗损失与重建损失之间的损失不匹配问题？
• RQ4 所提出的方法是否在图像到图像翻译基准上超越更复杂的最先进模型？
• RQ5 能否使生成器真正利用潜在噪声，而非仅依赖 dropout 实现随机性？

主要发现

• Pix2Pix-Geo 在仅修改训练流程的前提下，相比原始 Pix2Pix 显著提升了输出多样性。
• 模型在潜在码之间生成了更平滑、更有意义的插值，表明潜在空间的几何结构得到改善。
• 视觉质量得到提升，生成图像的伪影更少，且与输入条件的对齐性更好。
• 在多个图像到图像翻译任务中——包括草图到人脸、草图到鞋子、标签到外观——Pix2Pix-Geo 的性能达到或超过更复杂的最先进模型。
• 该方法成功减少了对 dropout 以实现随机性的依赖，因为生成器现在真正利用潜在噪声生成多样化输出。
• 该方法具有通用性，可适用于任意原始 cGAN，如在语义分割到人脸、边缘到人脸等任务中成功适配所示。