[论文解读] Revisiting Latent-Space Interpolation via a Quantitative Evaluation Framework

Mi Lu, Tianxing He+4 more|arXiv (Cornell University)|Oct 13, 2021

Generative Adversarial Networks and Image Synthesis参考文献 40被引用 7

一句话总结

该论文提出了一种基于具有语义连续属性的数据集的变分自编码器潜在空间插值的定量评估框架。通过将插值重建结果与真实中间样本进行比较，发现插值性能具有领域依赖性——在图像中归一化插值表现最佳，而在图结构中球面线性插值（slerp）表现最优——并证明瓶颈正则化和插值感知训练能显著提升结果。

ABSTRACT

Latent-space interpolation is commonly used to demonstrate the generalization ability of deep latent variable models. Various algorithms have been proposed to calculate the best trajectory between two encodings in the latent space. In this work, we show how data labeled with semantically continuous attributes can be utilized to conduct a quantitative evaluation of latent-space interpolation algorithms, for variational autoencoders. Our framework can be used to complement the standard qualitative comparison, and also enables evaluation for domains (such as graph) in which the visualization is difficult. Interestingly, our experiments reveal that the superiority of interpolation algorithms could be domain-dependent. While normalised interpolation works best for the image domain, spherical linear interpolation achieves the best performance in the graph domain. Next, we propose a simple-yet-effective method to restrict the latent space via a bottleneck structure in the encoder. We find that all interpolation algorithms evaluated in this work can benefit from this restriction. Finally, we conduct interpolation-aware training with the labeled attributes, and show that this explicit supervision can improve the interpolation performance.

研究动机与目标

• 为解决变分自编码器潜在空间插值缺乏系统性、定量评估的问题，尤其是在可视化困难的领域。
• 开发一种框架，利用语义连续属性的真实中间样本，实现对不同插值算法的比较。
• 探究插值性能在图像和图等不同数据领域中是否具有一致性。
• 评估编码器结构修改和监督训练对插值质量的影响。

提出的方法

• 利用具有语义连续属性的数据集（如物体旋转角度）定义两个数据点之间的真实中间潜在状态。
• 使用标准指标（如L2、SSIM）将插值潜在码解码得到的样本与真实中间样本进行比较。
• 在图像和图两个领域中实现并比较三种插值算法：线性插值、归一化插值和球面线性插值（slerp）。
• 在编码器中引入瓶颈结构，以限制潜在空间，提升插值的一致性。
• 使用属性标签对变分自编码器进行显式监督训练，以促进更优的插值行为。
• 将评估框架应用于图像领域（如3D物体视角）和图领域（如分子结构）以评估各领域的性能差异。

实验结果

研究问题

• RQ1 如何利用语义连续属性而非定性观察，对潜在空间插值进行定量评估？
• RQ2 在图像和图等不同数据领域中，线性、归一化或球面线性插值中哪种方法表现最佳？
• RQ3 通过在编码器中引入瓶颈结构限制潜在空间，是否能提升多种插值算法的性能？
• RQ4 使用带标签属性的插值感知训练是否能带来插值质量的可测量提升？
• RQ5 某种插值方法的优越性是否依赖于数据领域，还是具有跨领域的通用性？

主要发现

• 在图像领域，归一化插值表现最佳，特别是在3D物体视角插值中，因其与潜在数据流形的对齐更好。
• 在图领域，球面线性插值（slerp）优于其他方法，表明其在非欧几里得空间中更能保持结构关系。
• 在编码器中引入瓶颈结构可提升所有评估算法的插值性能，表明潜在空间正则化有助于提升泛化能力。
• 使用属性标签进行插值感知训练能显著提升插值质量，表明显式监督可带来更精确的中间重建。
• 研究发现插值算法性能具有领域依赖性，挑战了某种方法普遍优于其他方法的假设。
• 所提出的定量评估框架可在定性评估不可行的领域（如图结构）中实现可靠、可复现的插值方法评估。