[论文解读] Uniform Interpolation Constrained Geodesic Learning on Data Manifold

Cong Geng, Jia Wang+4 more|arXiv (Cornell University)|Feb 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 22被引用 4

一句话总结

本文提出一种测地线学习方法，通过在数据流形上强制恒定速度和最小化测地线约束，生成均匀且高质量的数据样本插值。该方法结合带有几何正则化的自编码器与基于黎曼度量的损失函数的插值网络，确保插值路径平滑且真实，且保持在数据分布范围内，在MNIST和Fashion-MNIST数据集上，其路径长度和视觉质量均优于线性插值。

ABSTRACT

In this paper, we propose a method to learn a minimizing geodesic within a data manifold. Along the learned geodesic, our method can generate high-quality interpolations between two given data samples. Specifically, we use an autoencoder network to map data samples into latent space and perform interpolation via an interpolation network. We add prior geometric information to regularize our autoencoder for the convexity of representations so that for any given interpolation approach, the generated interpolations remain within the distribution of the data manifold. Before the learning of a geodesic, a proper Riemannianmetric should be defined. Therefore, we induce a Riemannian metric by the canonical metric in the Euclidean space which the data manifold is isometrically immersed in. Based on this defined Riemannian metric, we introduce a constant speed loss and a minimizing geodesic loss to regularize the interpolation network to generate uniform interpolation along the learned geodesic on the manifold. We provide a theoretical analysis of our model and use image translation as an example to demonstrate the effectiveness of our method.

研究动机与目标

• 学习数据流形上的最小测地线，以确保数据样本之间插值的平滑性和真实性。
• 解决自编码器在建模瑞士卷或S形流形等弯曲流形时，潜在表示非凸的局限性。
• 通过弧长参数化测地线，实现均匀插值，确保恒定速度遍历。
• 提供与黎曼几何一致的严格数学测地线定义，不同于以往基于图或仅限潜在空间的方法。
• 通过结合自编码器驱动的流形学习与插值网络上的黎曼度量约束，提升插值质量。

提出的方法

• 训练自编码器时引入先验几何信息，以促进潜在空间的凸性表示，确保插值点保持在数据流形内。
• 通过等距嵌入到欧氏空间，诱导数据流形上的黎曼度量，实现在潜在空间中的几何约束。
• 引入恒定速度损失，通过弧长参数化插值曲线，确保沿测地线的均匀推进。
• 引入最小测地线损失，强制插值路径遵循流形上的最短路径，与黎曼几何一致。
• 完整模型结合自编码器与插值网络，联合优化两种损失，生成高质量、均匀的插值结果。
• 采用变分自编码器和对抗自编码器（VAE、AAE）将高维图像数据嵌入潜在空间，用于插值。

实验结果

研究问题

• RQ1 深度学习框架能否学习到与黎曼几何一致的数据流形上的最小测地线？
• RQ2 如何通过参数化曲线实现测地线路径上的均匀插值，且保持恒定速度？
• RQ3 自编码器的几何正则化能否在弯曲流形上仍确保凸的潜在表示？
• RQ4 所提方法能否在图像数据中生成比线性插值更真实、更平滑的插值结果？
• RQ5 在最小化路径长度和方差方面，测地线路径长度与线性插值相比如何？

主要发现

• 在三维弯曲流形上，所提方法的测地线路径长度为1.1028，最接近真实测地线长度1.0776，表明测地线逼近具有高精度。
• 在MNIST和Fashion-MNIST数据集中，测地线插值路径的平均长度显著短于线性插值，且方差更低，证实其最小化性质。
• 视觉结果表明，测地线插值在图像间产生更真实、语义上更合理的过渡，避免了线性插值中常见的伪影（如重影现象）。
• 测地线插值的速度曲线保持平滑且一致，而线性插值表现出剧烈的速度波动，验证了恒定速度损失的有效性。
• 消融实验表明，同时结合恒定速度损失与最小测地线损失可获得最佳性能，路径最短且插值最均匀。
• 该方法即使在复杂弯曲流形上，也能将插值结果保持在数据流形分布范围内，避免分布外样本的产生。