[论文解读] Normalizing Flows on Riemannian Manifolds

Mevlana Gemici, Danilo Jimenez Rezende+1 more|arXiv (Cornell University)|Nov 7, 2016

Gaussian Processes and Bayesian Inference参考文献 16被引用 46

一句话总结

该论文通过利用黎曼几何正确计算由度量诱导的雅可比行列式，将归一化流推广到黎曼流形（如n-球面）。该方法实现了在非欧几里得空间上的可扩展、可微密度估计，通过在切空间中使用反球极投影和归一化流，成功学习了Sⁿ上的复杂多模态分布。

ABSTRACT

We consider the problem of density estimation on Riemannian manifolds. Density estimation on manifolds has many applications in fluid-mechanics, optics and plasma physics and it appears often when dealing with angular variables (such as used in protein folding, robot limbs, gene-expression) and in general directional statistics. In spite of the multitude of algorithms available for density estimation in the Euclidean spaces $\mathbf{R}^n$ that scale to large n (e.g. normalizing flows, kernel methods and variational approximations), most of these methods are not immediately suitable for density estimation in more general Riemannian manifolds. We revisit techniques related to homeomorphisms from differential geometry for projecting densities to sub-manifolds and use it to generalize the idea of normalizing flows to more general Riemannian manifolds. The resulting algorithm is scalable, simple to implement and suitable for use with automatic differentiation. We demonstrate concrete examples of this method on the n-sphere $\mathbf{S}^n$.

研究动机与目标

• 解决缺乏适用于黎曼流形（如球面、环面和单纯形）的可扩展、可微密度估计方法的问题。
• 将已在欧几里得空间中取得成功的归一化流方法扩展到非欧几里得流形，同时保持通用逼近能力和梯度计算能力。
• 解决在将维度不匹配的映射（从Rⁿ到嵌入流形）应用于标准雅可比行列式公式时导致的密度变换错误问题。
• 实现方向性和约束数据（如蛋白质折叠或机器人中的角度变量）在变分推断中的复杂后验近似。

提出的方法

• 使用微分同胚映射ϕ: Rⁿ → M ⊂ Rᵐ，将流形M（例如Sⁿ）投影到其切空间Rⁿ，从而在欧几里得空间中实现基于流的变换。
• 应用黎曼度量G = JϕᵀJϕ计算体积畸变因子√det G，以校正非维度保持映射的密度变换。
• 推导出正确的密度变换公式：p(u) = f(ϕ(u)) ⋅ √det(JϕᵀJϕ(u))，确保从流形到欧几里得空间的密度传播准确无误。
• 采用反球极投影作为从Rⁿ到Sⁿ的特定双射、可微映射，其度量行列式具有闭式表达式。
• 在Rⁿ空间中使用标准归一化流（例如由神经网络参数化的流变换）学习复杂密度，随后将结果投影回流形。
• 依赖自动微分计算对数似然梯度，支持在流形上的端到端训练。

实验结果

研究问题

• RQ1 归一化流能否在保持可扩展性和可微性的同时推广到黎曼流形（如n-球面）？
• RQ2 在维度不同的空间之间（如Rⁿ到Sⁿ）进行映射时，正确的密度变换数学公式是什么？
• RQ3 与标准雅可比行列式相比，使用黎曼度量行列式在流形变换过程中对密度准确性的保持效果如何？
• RQ4 该框架能否有效学习曲面上（如Sⁿ）的复杂多模态密度？

主要发现

• 该方法通过使用黎曼度量行列式√det(JϕᵀJϕ)正确计算了流形上的密度变换，该公式考虑了内在曲率和维度不匹配问题。
• 对非方阵变换使用标准雅可比行列式|det Jϕ|会导致显著的密度误差，实验结果与蒙特卡洛样本的不匹配已明确证实。
• 反球极投影提供了从Rⁿ到Sⁿ的有效、双射且可微的映射，使球面上的基于流的建模成为可能。
• 在Sⁿ上推导出的度量行列式公式为det G = (2 / (‖x‖² + 1))²ⁿ，这是实现精确密度计算的关键。
• 实验结果表明，黎曼校正方法（红线）与50万样本的核密度估计（蓝线）高度吻合，而朴素的欧几里得方法（绿线）则完全失效。
• 该框架通过在切空间Rⁿ中变换和学习复杂密度，再投影回流形，实现了在Sⁿ上学习任意复杂密度的能力。