[论文解读] Variational Autoencoders with Riemannian Brownian Motion Priors

Dimitris Kalatzis, David Eklund+2 more|arXiv (Cornell University)|Feb 12, 2020

Generative Adversarial Networks and Image Synthesis参考文献 37被引用 9

一句话总结

本文提出Riemannian变分自编码器（R-VAEs），用定义在潜在流形上的Riemannian布朗运动先验替代标准的高斯先验，从而实现几何上合理的、重参数化不变的表征。该方法使用拉回度量定义内在距离，并采用高效的采样方案，避免流形不匹配问题，仅增加一个额外标量参数即显著提升模型容量。

ABSTRACT

Variational Autoencoders (VAEs) represent the given data in a low-dimensional latent space, which is generally assumed to be Euclidean. This assumption naturally leads to the common choice of a standard Gaussian prior over continuous latent variables. Recent work has, however, shown that this prior has a detrimental effect on model capacity, leading to subpar performance. We propose that the Euclidean assumption lies at the heart of this failure mode. To counter this, we assume a Riemannian structure over the latent space, which constitutes a more principled geometric view of the latent codes, and replace the standard Gaussian prior with a Riemannian Brownian motion prior. We propose an efficient inference scheme that does not rely on the unknown normalizing factor of this prior. Finally, we demonstrate that this prior significantly increases model capacity using only one additional scalar parameter.

研究动机与目标

• 为解决标准高斯先验在 VAE 中的局限性，后者假设潜在空间为欧几里得空间，导致流形不匹配且生成样本质量差。
• 开发一种基于几何不变性的先验，尊重潜在流形的内在结构，而非依赖任意的欧几里得距离。
• 提出高斯先验的 Riemannian 推广形式——Riemannian 布朗运动，以最少的额外参数捕捉复杂的数据几何结构。
• 设计一种高效的推理方案，避免计算 Riemannian 先验中难以处理的归一化常数。
• 通过定性和定量评估证明，几何感知先验可提升 VAE 性能，尤其在低维潜在空间中表现更优。

提出的方法

• 该方法通过从解码器的雅可比矩阵导出的拉回度量，将潜在空间建模为 Riemannian 流形，确保对重参数化变换的不变性。
• 用 Riemannian 布朗运动先验替代标准高斯先验，后者是定义在潜在流形上的扩散过程，仅包含一个可学习的标量方差参数。
• 推理方案使用随机微分方程（SDE）从 Riemannian 先验中采样，而无需依赖未知的归一化常数。
• 通过尊重 Riemannian 几何结构的数值积分器求解 SDE，实现在潜在空间中流形图像上的稳定且有意义的采样。
• 模型通过标准 VAE 目标端到端训练，将 Riemannian 先验整合进 ELBO 的 KL 散度项中。
• 拉回度量通过反向传播通过解码器网络在训练过程中计算，支持基于梯度的潜在几何优化。

实验结果

研究问题

• RQ1 与标准高斯先验相比，Riemannian 布朗运动先验是否能提升 VAE 的表征能力？
• RQ2 通过引入 Riemannian 结构建模潜在空间，是否能减少流形不匹配并提升生成样本质量？
• RQ3 在低维设置下，仅增加一个额外标量参数的几何上合理的先验，是否能超越更复杂的可学习先验？
• RQ4 Riemannian 先验是否对潜在空间的重参数化保持不变，从而解决可识别性问题？
• RQ5 拉回度量如何影响潜在空间中的不确定性估计与采样行为？

主要发现

• R-VAE 通过将采样限制在潜在流形的像集内，显著减少了流形不匹配，样本结果表明其避免了潜在空间中的低密度区域。
• Riemannian 布朗运动先验提升了样本质量和重建性能，尤其在低维潜在空间中优于使用高斯先验的标准 VAE。
• 该方法仅增加一个额外标量参数，即实现更优性能，证明了在不增加复杂度的前提下显著提升了模型容量。
• 拉回度量确保了潜在空间中距离的几何意义，并对重参数化保持不变，从而解决了可识别性问题。
• 采样方案通过基于 SDE 的方法成功避免了归一化常数问题，且该方法尊重 Riemannian 几何结构。
• 定性结果表明，R-VAE 的随机游走过程在接近潜在流形边界时趋于变慢并停止，表明其在数据支持区域上实现了有效集中。