[论文解读] Riemannian Continuous Normalizing Flows

Émile Mathieu, Maximilian Nickel|arXiv (Cornell University)|Jun 18, 2020

Mathematical Dynamics and Fractals参考文献 54被引用 30

一句话总结

本文引入了黎曼连续正态化流（RCNFs），它将流定义为在流形上通过 ODE 演化的向量场，使概率模型能够表达性地遵循潜在几何结构。作者展示了相较于标准流和投影流，在球面和双曲流形，以及地球科学密度估计中的优势。

ABSTRACT

Normalizing flows have shown great promise for modelling flexible probability distributions in a computationally tractable way. However, whilst data is often naturally described on Riemannian manifolds such as spheres, torii, and hyperbolic spaces, most normalizing flows implicitly assume a flat geometry, making them either misspecified or ill-suited in these situations. To overcome this problem, we introduce Riemannian continuous normalizing flows, a model which admits the parametrization of flexible probability measures on smooth manifolds by defining flows as the solution to ordinary differential equations. We show that this approach can lead to substantial improvements on both synthetic and real-world data when compared to standard flows or previously introduced projected flows.

研究动机与目标

• 激励需要对黎曼几何的流形-valued 数据进行建模的概率方法。
• 提出一个通过向量场在光滑流形上定义连续正态化流的有原则性的框架。
• 开发几何感知的方法用于流评估、似然计算和基分布选择。
• 在常曲率流形（球面和庞加莱圆盘）以及真实世界地球科学数据集上，经验性地将 RCNFs 与 naive、wrapped 和 projected 方法进行对比。
• 展示在密度估计和训练效率方面相较基线的改进。

提出的方法

• 在光滑完备流形 M 上，通过时间演化 dz(t)/dt = fθ(z(t), t) 定义流。
• 证明在温和条件下，向量流在 M 上产生一个 C1-同胚流 φ(·, t)。
• 使用黎曼度量 G(z)及对散度的 Hutchinson 跟踪估计器，通过 Liouville 风格的密度变化来计算似然。
• 使用几何感知的 Runge-Kutta+投影求解器在保持样本落在流形上的同时积分流。
• 用接收测地距离特征并输出切向量的神经网络对向量场 fθ 进行参数化，输出投影到 TM。
• 使用最大似然或反向 KL 目标进行训练，通过对求解器进行内存高效的自动微分反向传播。

实验结果

研究问题

• RQ1 如何将连续正态化流表述为可直接在黎曼流形上而非欧几里得空间上运行？
• RQ2 与 naive、wrapped 或 projection 的流形流方法相比，RCNFs 在常曲率流形上是否提供更高的表达能力和数值稳定性？
• RQ3 几何感知的似然计算与散度估计对训练稳定性和性能有何影响？
• RQ4 在真实世界球面数据（如地球科学数据集）上的密度估计任务中，相较于基线，RCNFs 的表现如何？

主要发现

• 当目标分布接近流形边界的困难区域时，RCNFs 在合成的双曲和球面任务上始终优于 naive 和 wrapped 投影模型。
• 在球面数据上，RCNFs 的对数似然和反向 KL 表现优于圆锥投影方法，特别是当目标质量接近奇点时。
• 在地球科学数据集（火山、地震、洪水、火灾）的密度估计中，RCNFs 收敛更快，所需迭代次数少于投影方法。
• 测地距离输入层和向量场输出的适当缩放对稳定训练和减少函数评估至关重要。
• 在真实世界数据集上的密度训练表明，RCNFs 比基于投影的方法提供更紧密的拟合和改进的泛化。