[论文解读] Potential Flow Generator with $L_2$ Optimal Transport Regularity for Generative Models

Liu Yang, George Em Karniadakis|arXiv (Cornell University)|Aug 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 5

一句话总结

该论文提出了一种具有 $L_2$ 最优传输正则化的潜在流生成器，通过确保输入样本被映射到附近且结构相似的输出，从而提升无配对数据下的图像翻译性能。该方法可无缝集成至 GAN 和流模型中，相比现有方法在接近度和鲁棒性方面表现更优。

ABSTRACT

We propose a potential flow generator with $L_2$ optimal transport regularity, which can be easily integrated into a wide range of generative models including different versions of GANs and flow-based models. We show the correctness and robustness of the potential flow generator in several 2D problems, and illustrate the concept of "proximity" due to the $L_2$ optimal transport regularity. Subsequently, we demonstrate the effectiveness of the potential flow generator in image translation tasks with unpaired training data from the MNIST dataset and the CelebA dataset.

研究动机与目标

• 开发一种强制执行 $L_2$ 最优传输正则化的生成器，以提升图像翻译中的结构对应性。
• 实现在 GAN 和流模型等多样化生成模型中集成 $L_2$ 最优传输正则化，且仅需最小的网络架构修改。
• 证明 $L_2$ 最优传输正则化可诱导出“接近性”特性，即将相似输入映射到相似输出。
• 在二维问题和使用 MNIST 与 CelebA 数据集的现实世界图像翻译任务中，通过无配对数据验证该方法。
• 对比潜在流生成器的离散版本与连续版本，表明连续变体在鲁棒性方面表现更优。

提出的方法

• 基于从 $L_2$ 最优传输映射导出的 PDE，提出一种连续潜在流生成器，使用神经网络表示速度势函数。
• 实现一种离散版本的潜在流生成器，通过在离散点上使用闭式解直接强制执行 $L_2$ 最优传输。
• 在现有生成器损失函数中增加一个源自连续性方程和 $L_2$ 最优传输条件的 PDE 惩罚项。
• 使用前馈神经网络参数化势函数 $\tilde{\phi}$，该函数定义生成器为 $\tilde{\phi}$ 的梯度。
• 将该方法应用于 GAN 和连续归一化流模型，使用 Adam 优化器，训练 10,000 步，$L_2$ 惩罚权重设为 1.0。
• 采用 PCA 将图像嵌入到 700 维欧氏空间，以支持图像到图像任务中的向量空间翻译。

实验结果

研究问题

• RQ1 具有 $L_2$ 最优传输正则化的潜在流生成器是否能提升无配对设置下图像翻译的质量和结构对应性？
• RQ2 $L_2$ 最优传输正则化如何强制实现“接近性”特性，即将相似输入映射到相似输出？
• RQ3 连续潜在流生成器在估计最优传输映射时是否在鲁棒性和准确性方面优于离散版本？
• RQ4 该方法是否能无缝集成到包括 GAN 和流模型在内的多样化生成模型中，而无需使用专门设计的损失函数？
• RQ5 与解析解相比，该方法在复杂真实分布（如 MNIST 和 CelebA）上的有效性如何？

主要发现

• 连续潜在流生成器在估计 $L_2$ 最优传输映射方面相比离散版本展现出更高的鲁棒性和准确性，尤其在复杂分布上表现更优。
• 在 MNIST 数据集上，生成器成功将数字 0 映射到 6，1 映射到 7，3 映射到 5 或 8，4 映射到 9，通过视觉上相似的转换体现了“接近性”特性。
• 在 CelebA 数据集上，生成器将无笑容的面孔翻译为带笑容的面孔，同时保持身份和其他属性不变，但因 PCA 限制，侧脸和模糊重建的性能有所下降。
• 在连续归一化流中，生成器成功使目标分布 $\nu$ 与 $G_\#\mu$ 匹配，且 $\mu$ 的样本被映射到附近位置，证实了接近性效应。
• 该方法在无配对数据下实现了有效的图像翻译，表明 $L_2$ 最优传输正则化为 CycleGAN 等模型中循环一致性损失提供了一种数学上合理的替代方案。
• 潜在流生成器的集成仅需对现有损失函数进行微小增强，从而可在 GAN 和流模型中广泛适用。