[论文解读] Variational Autoencoder with Learned Latent Structure

Marissa Connor, Gregory Canal+1 more|arXiv (Cornell University)|Jun 18, 2020

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 4

一句话总结

该论文提出VAELLS，一种变分自编码器，通过使用传输算子替代传统VAE中的固定先验，学习数据驱动的潜在流形结构。通过利用可学习的动力学矩阵和基于锚点的先验来建模非线性数据流形，VAELLS实现了更精确的生成、有意义的插值路径以及特定类别的变换，其在MNIST和旋转MNIST基准上的表现优于标准VAE。

ABSTRACT

The manifold hypothesis states that high-dimensional data can be modeled as lying on or near a low-dimensional, nonlinear manifold. Variational Autoencoders (VAEs) approximate this manifold by learning mappings from low-dimensional latent vectors to high-dimensional data while encouraging a global structure in the latent space through the use of a specified prior distribution. When this prior does not match the structure of the true data manifold, it can lead to a less accurate model of the data. To resolve this mismatch, we introduce the Variational Autoencoder with Learned Latent Structure (VAELLS) which incorporates a learnable manifold model into the latent space of a VAE. This enables us to learn the nonlinear manifold structure from the data and use that structure to define a prior in the latent space. The integration of a latent manifold model not only ensures that our prior is well-matched to the data, but also allows us to define generative transformation paths in the latent space and describe class manifolds with transformations stemming from examples of each class. We validate our model on examples with known latent structure and also demonstrate its capabilities on a real-world dataset.

研究动机与目标

• 解决标准VAE中固定先验与复杂、非线性数据流形之间的不匹配问题。
• 在潜在空间中实现反映自然数据变化的有意义、非线性的变换路径。
• 通过从类别样本中推导出的变换来建模特定类别的流形。
• 通过利用传输算子学习数据自适应先验，提升生成质量和解耦性能。
• 提供一种可解释的、保持身份特征的潜在空间变换框架。

提出的方法

• 引入一种基于传输算子的可学习流形模型，其中动力学由学习到的基矩阵 $\Psi_m$ 的加权和定义。
• 使用线性动力系统 $\dot{z} = Az$ 定义潜在流形上的平滑路径，其解为 $z_t = \mathrm{expm}(At)z_0$。
• 定义一个生成模型，其中 $z_1 = \mathrm{expm}(A)z_0 + n$，通过学习到的 $A$ 矩阵实现插值和外推。
• 为每种类别设置锚点以定义局部先验，先验分布基于距离最近的锚点确定。
• 通过与编码器和解码器联合学习 $\Psi_m$ 矩阵和系数 $c_m$，将传输算子模型集成到VAE框架中。
• 采用多阶段优化策略，为网络、锚点和 $\Psi$ 矩阵设置独立的学习率，包含预热和系数推断重启机制。

实验结果

研究问题

• RQ1 与具有固定先验的标准VAE相比，可学习的潜在流形模型是否能提升生成性能？
• RQ2 传输算子是否能实现潜在空间中更真实的插值和外推路径？
• RQ3 能否从示例数据中有效建模和学习特定类别的变换？
• RQ4 通过基于锚点的传输算子学习数据自适应先验，是否能增强解耦性和样本质量？
• RQ5 VAELLS在具有已知几何结构的数据集（如旋转MNIST）上的表现如何？

主要发现

• 与标准VAE相比，VAELLS在旋转MNIST和自然MNIST数据集上均实现了更优的样本质量和重建精度。
• VAELLS中的潜在空间采样能够生成如旋转和风格变化等逼真的图像变化，如解码输出所示。
• 该模型在MNIST上学习到八个可解释的传输算子，对应于可识别的数字变换，如笔画加粗或曲率变化。
• 通过正负系数应用学习到的传输算子可生成有意义的外推结果，如图17和图18所示。
• 潜在空间表现出更好的类别分离性和保持身份特征的路径，减少了插值过程中的非预期类别转换。
• 锚点在训练过程中保持稳定，表明局部先验模型具有鲁棒性。