[论文解读] The Riemannian Geometry of Deep Generative Models

Hang Shao, Abhishek Kumar+1 more|arXiv (Cornell University)|Nov 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 16

一句话总结

本文引入黎曼几何工具——测地线计算与平行移动——以分析深度生成模型（尤其是VAE）所学习的非线性流形。研究发现，这些流形表现出极低的曲率，解释了为何潜在空间中的线性插值能近似测地线，并产生视觉上合理的图像插值结果。

ABSTRACT

Deep generative models learn a mapping from a low dimensional latent space to a high-dimensional data space. Under certain regularity conditions, these models parameterize nonlinear manifolds in the data space. In this paper, we investigate the Riemannian geometry of these generated manifolds. First, we develop efficient algorithms for computing geodesic curves, which provide an intrinsic notion of distance between points on the manifold. Second, we develop an algorithm for parallel translation of a tangent vector along a path on the manifold. We show how parallel translation can be used to generate analogies, i.e., to transport a change in one data point into a semantically similar change of another data point. Our experiments on real image data show that the manifolds learned by deep generative models, while nonlinear, are surprisingly close to zero curvature. The practical implication is that linear paths in the latent space closely approximate geodesics on the generated manifold. However, further investigation into this phenomenon is warranted, to identify if there are other architectures or datasets where curvature plays a more prominent role. We believe that exploring the Riemannian geometry of deep generative models, using the tools developed in this paper, will be an important step in understanding the high-dimensional, nonlinear spaces these models learn.

研究动机与目标

• 研究深度生成模型所生成流形的黎曼几何特性，重点关注曲率与内在距离度量。
• 开发高效算法以计算这些流形上的测地线路径与平行移动，实现内在几何分析。
• 评估潜在空间中的线性路径在多大程度上近似测地线，并理解其对生成模型可解释性与插值质量的影响。
• 通过CelebA与SVHN等真实图像数据集的类比与度量保持性分析，展示这些工具的实用性。
• 评估不同网络架构或数据集下生成流形的曲率是否发生变化，以及其是否影响下游生成性能。

提出的方法

• 提出一种数值算法，无需昂贵的二阶导数或矩阵求逆，即可在生成流形上计算离散化的测地线曲线。
• 开发一种基于联络的公式化方法，用于沿测地线路径计算切向量的平行移动，以保持切性。
• 采用测地线发射法，从初始点与速度向量出发生成测地线，实现可控的插值与类比任务。
• 使用基于测地线与线性距离矩阵的多维尺度分析（MDS），通过距离矩阵的特征值分析评估曲率。
• 利用工具通过平行移动将源点到目标点的变化的切向量传输至第三点，随后发射等长测地线，以计算测地线类比。
• 通过R²分数等定量指标比较测地线与线性距离矩阵，结合图像插值与类比的视觉检查，验证结果。

实验结果

研究问题

• RQ1 VAE生成流形上的测地线路径与潜在空间中的线性路径相比，在视觉合理性与内在距离方面有何差异？
• RQ2 生成流形的黎曼曲率在多大程度上影响数据空间中插值与类比的质量？
• RQ3 能否高效计算并应用源自流形内在几何的测地线距离度量，以改进生成模型分析？
• RQ4 MDS距离矩阵的特征值如何反映生成流形的曲率？这对流形在欧氏空间中的等距嵌入性有何启示？
• RQ5 切向量的平行移动在何种方式下能实现数据点之间的有意义类比？与潜在空间中的线性类比相比有何异同？

主要发现

• CelebA与SVHN数据集的测地线距离矩阵仅显示微小的负特征值，表明生成流形的曲率极低，接近于零。
• 基于测地线距离的MDS嵌入显示，该流形几乎可等距嵌入欧氏空间，仅因曲率存在微小偏差。
• 测地线与线性距离矩阵的R²分数较高——CelebA为0.778，SVHN为0.902，表明潜在空间线性路径与内在测地线高度对齐。
• 潜在空间中的线性类比生成的结果在视觉上与使用平行移动的测地线类比相似，表明潜在空间线性路径可作为内在几何变化的有效代理。
• 尽管曲率较低，潜在空间与测地线距离之间仍存在微小差异，表明曲率可能在某些生成或下游任务中仍起微妙作用。
• 结果表明，VAE中潜在空间插值成功的原因，部分可归因于生成流形近乎欧氏的几何特性。