[论文解读] Theoretical Analysis of Image-to-Image Translation with Adversarial Learning

Xudong Pan, Mi Zhang+1 more|arXiv (Cornell University)|Jun 18, 2018

Multimodal Machine Learning Applications被引用 5

一句话总结

本文通过一种新颖的几何框架，对基于条件生成对抗网络（conditional GANs）的图像到图像翻译进行了理论分析，揭示了该模型在流形上作为局部学习任务运行的机制。文中推导出条件 GAN 的泛化条件，解释了无对抗损失时出现模糊性、无身份损失时出现伪影等经验现象，并提出了改善泛化性能的实用设计准则。

ABSTRACT

Recently, a unified model for image-to-image translation tasks within adversarial learning framework has aroused widespread research interests in computer vision practitioners. Their reported empirical success however lacks solid theoretical interpretations for its inherent mechanism. In this paper, we reformulate their model from a brand-new geometrical perspective and have eventually reached a full interpretation on some interesting but unclear empirical phenomenons from their experiments. Furthermore, by extending the definition of generalization for generative adversarial nets to a broader sense, we have derived a condition to control the generalization capability of their model. According to our derived condition, several practical suggestions have also been proposed on model design and dataset construction as a guidance for further empirical researches.

研究动机与目标

• 为 Isola 等人（2017）提出的图像到图像翻译模型中的经验现象（如无对抗损失时结果模糊、无身份损失时出现伪影）提供理论解释。
• 将标准 GAN 的泛化概念扩展至图像到图像翻译场景下的条件 GAN。
• 推导出一个正式的模型泛化条件，以指导实际的模型与数据集设计。
• 利用微分几何重新表述条件 GAN 框架，将生成器解释为在数据流形局部图册上操作。
• 提供可操作的、基于理论的建议，以改进图像翻译任务中的模型设计与数据集构建。

提出的方法

• 采用几何框架重新表述图像到图像翻译模型，将生成器建模为源数据流形与目标数据流形上局部图册之间的映射。
• 基于局部经验风险与流形结构，提出条件 GAN 的泛化扩展定义。
• 应用非渐近信息几何定理，估计生成器统计流形中的偏差校正估计误差。
• 以局部化形式应用 Vapnik-Chervonenkis（VC）定理，对多个图册上的泛化误差进行上界估计。
• 用 WGAN 损失替代标准 cGAN 损失，以稳定训练并实现更清晰的理论分析。
• 推导出一个泛化条件（定理 5.1），其涉及生成器的利普希茨常数、局部分布协方差矩阵的迹以及样本数量，确保以高概率实现泛化。

实验结果

研究问题

• RQ1 为何在图像到图像翻译中省略对抗损失会导致结果模糊但合理？
• RQ2 为何移除身份（L1）损失会导致输出清晰但语义无关或含有伪影？
• RQ3 在生成器直接映射高维图像的条件下，如何在理论上定义并度量条件 GAN 的泛化？
• RQ4 哪些几何与统计条件可确保生成器在不同图像流形间实现良好泛化？
• RQ5 理论洞察能如何指导图像翻译任务中模型架构与数据集构建的实际选择？

主要发现

• 该模型自然地分解为源流形与目标流形配对图册上的局部学习任务，解释了其作为局部数据结构上分段映射的行为。
• 泛化条件（定理 5.1）表明，当局部源分布方差较低且生成器的利普希茨常数有界时，泛化更可能发生。
• 该条件涉及源流形与目标流形协方差矩阵迹与生成器利普希茨常数之间的权衡，当不等式右侧更大时，泛化概率更高。
• 当生成器输出在局部邻域内接近目标时，经验风险最小化，且当每类样本数量平衡时效果最佳。
• 理论分析证实，仅增加总数据集大小而不平衡类别分布，并不能提升泛化性能，这与常见直觉相反。
• 生成器相对于数据流形结构的平滑性，与基于经典 VC 理论的泛化能力，在模型设计中具有同等重要性。