[论文解读] Semantic Interpolation in Implicit Models

Yannic Kilcher, Aurélien Lucchi+1 more|arXiv (Cornell University)|Oct 31, 2017

Generative Adversarial Networks and Image Synthesis参考文献 14被引用 3

一句话总结

本文提出将隐式生成模型（特别是 GAN 和 VAE）中的先验分布从标准正态分布修改为伽马分布，以使概率质量更集中于原点附近。通过这种方式，潜在空间中的线性插值能保持在高密度区域，避免低概率区域，从而提升生成样本的质量。实验结果表明，在多个数据集和潜在维度下，该方法显著提升了生成图像的视觉质量，并实现了更具语义意义的插值效果。

ABSTRACT

In implicit models, one often interpolates between sampled points in latent space. As we show in this paper, care needs to be taken to match-up the distributional assumptions on code vectors with the geometry of the interpolating paths. Otherwise, typical assumptions about the quality and semantics of in-between points may not be justified. Based on our analysis we propose to modify the prior code distribution to put significantly more probability mass closer to the origin. As a result, linear interpolation paths are not only shortest paths, but they are also guaranteed to pass through high-density regions, irrespective of the dimensionality of the latent space. Experiments on standard benchmark image datasets demonstrate clear visual improvements in the quality of the generated samples and exhibit more meaningful interpolation paths.

研究动机与目标

• 解决标准隐式模型在高维潜在空间中线性插值常因标准正态先验集中在薄壳区域而经过低概率区域的问题。
• 利用 KL 散度分析先验分布与插值点有效分布之间的分布不匹配问题。
• 提出一种修改后的先验分布（伽马分布），确保无论潜在维度如何，线性插值路径均保持在高密度区域。
• 通过实验验证，新先验可生成视觉质量更优且语义更清晰的图像插值路径。

提出的方法

• 将标准各向同性正态先验 $\mathcal{N}(\mathbf{0}, \mathbf{I})$ 替换为潜在码模长的伽马先验 $\text{Gamma}(k, \theta)$，有效使质量集中在原点附近。
• 利用伽马分布对潜在码的径向分量进行参数化，同时保持方向上的均匀性，从而在原点附近形成更各向同性且密集的潜在空间。
• 形式化推导先验分布与插值点分布之间的 KL 散度，证明在使用伽马先验时，可实现与潜在维度无关的分布不匹配控制。
• 使用修改后的伽马先验训练 GAN，并在潜在空间中执行直线插值，确保所有插值点均位于高概率区域。
• 通过视觉检查及属性类比任务的定量指标（如潜在代数分数 LAS）评估插值质量。

实验结果

研究问题

• RQ1 在具有标准正态先验的标准隐式模型中，高维潜在空间的线性插值是否会导致低概率区域？
• RQ2 能否利用 KL 散度正式表征先验与插值点之间分布的不匹配？
• RQ3 将先验修改为使质量集中在原点附近，是否可消除对非线性插值方法（如球面插值）的依赖？
• RQ4 使用新先验训练的模型是否能在图像生成任务中生成视觉质量更优且语义更清晰的插值路径？

主要发现

• 与标准正态先验相比，伽马先验显著提升了 GAN 中插值样本的视觉质量，尤其在高维潜在空间中表现更优。
• 在 CelebA 数据集上，使用伽马先验训练的生成器在 $d=200$ 时仍能保持高质量插值，而使用正态先验的模型在维度增加时质量迅速下降。
• 属性类比的潜在代数分数（LAS）从正态先验的 0.007496 降低至伽马先验的 0.005638，表明潜在空间中语义结构更优。
• 理论分析表明，使用伽马先验时，先验与插值点分布之间的 KL 散度可独立于潜在维度进行控制。
• 使用伽马先验的线性插值保持稳定且高效，避免了球面插值带来的不稳定性与长路径问题。