[论文解读] Neural Manifold Ordinary Differential Equations

Aaron Lou, Derek Lim+5 more|arXiv (Cornell University)|Jun 18, 2020

Generative Adversarial Networks and Image Synthesis被引用 3

一句话总结

本文提出了神经流形常微分方程（NM-ODEs），一种通过利用局部几何结构在任意黎曼流形上构建连续归一化流的一般性框架。通过将神经常微分方程推广至非欧几里得空间，该方法实现了表达性强、具备几何感知能力的概率密度估计，并通过流形上的连续变量变换，在密度估计和下游任务中均提升了性能。

ABSTRACT

To better conform to data geometry, recent deep generative modelling techniques adapt Euclidean constructions to non-Euclidean spaces. In this paper, we study normalizing flows on manifolds. Previous work has developed flow models for specific cases; however, these advancements hand craft layers on a manifold-by-manifold basis, restricting generality and inducing cumbersome design constraints. We overcome these issues by introducing Neural Manifold Ordinary Differential Equations, a manifold generalization of Neural ODEs, which enables the construction of Manifold Continuous Normalizing Flows (MCNFs). MCNFs require only local geometry (therefore generalizing to arbitrary manifolds) and compute probabilities with continuous change of variables (allowing for a simple and expressive flow construction). We find that leveraging continuous manifold dynamics produces a marked improvement for both density estimation and downstream tasks.

研究动机与目标

• 解决非欧几里得数据几何结构下缺乏可泛化的归一化流框架的问题。
• 克服依赖特定流形、手工设计的流层所带来的局限性，这些局限性限制了通用性并增加了设计复杂度。
• 开发一种统一的、具备几何感知能力的流构造方法，使其可泛化至任意黎曼流形。
• 仅利用局部几何信息，实现流形上连续且表达性强的归一化流。

提出的方法

• 提出神经流形ODE作为神经ODE在黎曼流形上的推广，使用定义在切丛上的向量场。
• 通过在流形上定义由神经网络参数化的连续ODE系统来实现流的动力学。
• 利用流形上的连续变量变换公式精确计算似然值，无需离散化。
• 通过使用与流形兼容的神经网络构建向量场，确保流的可逆性与可微性。
• 利用局部黎曼几何（度量、联络）定义尊重数据流形固有曲率的动力学。
• 构建流形连续归一化流（MCNFs），在保持表达力的同时实现对多样化流形的泛化。

实验结果

研究问题

• RQ1 是否可以在不依赖特定流形架构设计的前提下，将连续归一化流推广至任意黎曼流形？
• RQ2 与欧几里得空间或手工设计的流形流相比，利用局部流形几何结构在密度估计性能上能提升多少？
• RQ3 具备流形感知的连续动力学在多大程度上增强了下游生成建模任务的性能？
• RQ4 基于神经流形ODE的单一框架是否能在无需架构重新调整的情况下，在多种数据流形上实现优异性能？
• RQ5 在嵌入流形的流中，连续变量变换对似然值与训练稳定性有何影响？

主要发现

• 通过利用数据流形的内在几何结构，所提框架在流形结构化数据上的密度估计性能得到显著提升。
• MCNFs在与先前特定流形的流模型对比中展现出更优的似然得分，表明其具备更强的表达力与建模精度。
• 该方法无需重新设计即可泛化至任意流形，实现了对多样化几何数据的单一统一架构。
• 通过神经流形ODE实现的连续动力学，相比离散或手工设计的层，能实现更稳定、更精确的似然计算。
• 下游任务得益于改进的生成建模能力，在下游应用中表现出更优的性能。