[论文解读] Optimal transport maps for distribution preserving operations on latent spaces of Generative Models

Eirikur Agustsson, Alexander Sage+2 more|arXiv (Cornell University)|Nov 6, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 10

一句话总结

本文提出最优传输映射以校正生成模型（如VAE和GAN）潜在空间操作中的分布不匹配问题。通过最小程度地修改标准操作（例如插值、邻域采样）以保持先验分布，该方法生成的样本质量显著提升，Inception分数与原始模型相当，且相比标准线性插值最高提升29%。

ABSTRACT

Generative models such as Variational Auto Encoders (VAEs) and Generative Adversarial Networks (GANs) are typically trained for a fixed prior distribution in the latent space, such as uniform or Gaussian. After a trained model is obtained, one can sample the Generator in various forms for exploration and understanding, such as interpolating between two samples, sampling in the vicinity of a sample or exploring differences between a pair of samples applied to a third sample. In this paper, we show that the latent space operations used in the literature so far induce a distribution mismatch between the resulting outputs and the prior distribution the model was trained on. To address this, we propose to use distribution matching transport maps to ensure that such latent space operations preserve the prior distribution, while minimally modifying the original operation. Our experimental results validate that the proposed operations give higher quality samples compared to the original operations.

研究动机与目标

• 识别并解决训练好的生成模型中标准潜在空间操作引入的分布不匹配问题。
• 证明诸如线性插值和向量运算等常见操作即使在均匀先验下也会扭曲先验分布。
• 提出一种系统性方法，在最小改变原始操作轨迹的同时保持先验分布。
• 验证保持分布的运算相比标准方法能生成更高质量的样本。
• 基于最优传输理论，为匹配操作（如插值、邻域采样）提供解析解。

提出的方法

• 使用最优传输计算一个传输映射，以最小化原始操作的$L_1$距离失真，同时确保输出分布与先验匹配。
• 将匹配插值表述为一个凸优化问题，强制输出分布与先验分布等价。
• 应用传输映射将标准操作（如线性插值、球面插值（SLERP）和邻域采样）转换为保持分布的变体。
• 推导在高斯先验和均匀先验下匹配插值与邻域采样的解析表达式。
• 使用数值优化实现该方法，以计算任意先验分布的传输映射。
• 将匹配操作集成到现有生成模型（如DCGAN、iWGAN）中，无需重新训练。

实验结果

研究问题

• RQ1 标准潜在空间操作（如线性插值）是否相对于训练期间使用的先验分布产生分布不匹配？
• RQ2 能否利用最优传输校正此分布不匹配，同时保持原始操作的语义意图？
• RQ3 与标准方法相比，所提出的保持分布的替代方法在生成样本质量上表现如何？
• RQ4 保持分布的运算在Inception分数等定量指标上的提升程度如何？
• RQ5 所提出的方法能否推广至多种操作（插值、邻域采样、随机游走）和不同先验分布？

主要发现

• 即使对于均匀先验，标准线性插值也会引起显著的分布不匹配，导致样本质量下降。
• 所提出的匹配插值精确保持先验分布，Inception分数与原始模型在统计上无差异（例如，CIFAR-10上为7.89 ± 0.08，与先验的7.90 ± 0.11无显著差异）。
• 在线性插值下，CelebA数据集的Inception分数最高下降29%（1.46 ± 0.01 vs. 2.05 ± 0.04），表明质量显著下降。
• 球面插值（SLERP）在Inception分数上与所提匹配方法表现相当，但匹配方法提供了系统性且保持分布的解决方案。
• 反复应用未匹配的邻域采样会迅速导致样本质量下降，几步后输出已无法识别——凸显了分布不匹配的累积效应。
• 匹配的邻域采样可实现在潜在空间中的稳定随机游走，多步后仍能保持样本质量，而未匹配版本则无法做到。