[论文解读] Riemannian Score-Based Generative Modelling

Valentin De Bortoli, Émile Mathieu+4 more|arXiv (Cornell University)|Feb 6, 2022

Morphological variations and asymmetry被引用 26

一句话总结

本论文将基于分数的生成模型扩展到黎曼流形（RSGMs），提出在流形上的前向加入噪声、在流形上的时间反演、用于采样的测地随机游走，以及针对流形几何的流形感知分数估计，并在紧致流形上给出收敛性保证。

ABSTRACT

Score-based generative models (SGMs) are a powerful class of generative models that exhibit remarkable empirical performance. Score-based generative modelling (SGM) consists of a ``noising'' stage, whereby a diffusion is used to gradually add Gaussian noise to data, and a generative model, which entails a ``denoising'' process defined by approximating the time-reversal of the diffusion. Existing SGMs assume that data is supported on a Euclidean space, i.e. a manifold with flat geometry. In many domains such as robotics, geoscience or protein modelling, data is often naturally described by distributions living on Riemannian manifolds and current SGM techniques are not appropriate. We introduce here Riemannian Score-based Generative Models (RSGMs), a class of generative models extending SGMs to Riemannian manifolds. We demonstrate our approach on a variety of manifolds, and in particular with earth and climate science spherical data.

研究动机与目标

• 动机：解决欧式SGMs在多领域（如机器人、地球科学和蛋白质建模）中对流形值数据的局限性。
• 在黎曼流形上开发一个有原则的前向扩散过程，使其收敛到一个易于采样的参考分布。
• 推导在流形上的时间反演公式，以定义流形值生成过程。
• 提出针对流形几何的内在采样和分数估计方法。
• 为紧致流形上的RSGMs提供理论收敛保证，并在多样的流形和数据集上进行经验验证。

提出的方法

• 在 M 上定义前向加噪过程（例如基于测地距离的势能的 Langevin 动力学，或指数封装高斯分布）。
• 建立在流形上的时间反演扩散（dYt = {−b(Yt) + ∇log pT−t(Yt)}dt + dBMt）。
• 通过测地随机游走（GRWs）近似流形上的SDE采样，以保持对 M 的内在性。
• 通过去噪分数匹配（DSM）和隐式分数匹配（ISM）损失，在 M 上用神经网络 sθ 近似分数场来制定流形上的分数估计。
• 使用向量场基在切丛上参数化分数网络，并用DSM/ISM损失进行训练。
• 提供一个训练与采样算法（RSGM），其前向基于 GRW 的扩散，后向基于 GRW 的反向过程。

实验结果

研究问题

• RQ1 如何将基于分数的生成建模扩展到支持一般黎曼流形的数据？
• RQ2 哪些前向加噪和后向去噪方案能保留流形几何并允许可解的分数估计？
• RQ3 流形上的内在采样和分数估计是否能达到与欧几里得 SGM 及特定流形基线方法相当的性能与可扩展性？
• RQ4 在紧致流形上，RSGMs 在什么条件下收敛到数据分布，及其速率如何？
• RQ5 与现有基于流形的方法相比，RSGMs 在球面地球/气候数据、SO(3)、圆环、双曲空间上的表现如何？

主要发现

• RSGMs 通过直接在 M 上构建前向扩散并推导流形时间反演扩散，将 SGMs 扩展到黎曼流形。
• 测地随机游走提供了一种内在且可扩展的在流形上采样 SDE 的方法，避免了来自外在嵌入的投影误差。
• 在流形上的分数可以通过DSM/ISM损失学习，使用一个神经网络组合多个向量场以覆盖切丛。
• 在紧致流形上，本文给出 RSGMs 的收敛界，在适当条件下给出 Wasserstein 距离保证。
• 在地球/气候球面数据、SO(3)、圆环和双曲空间上的实验结果显示，与基线流形方法相比具有竞争性甚至更优的性能，并且在高维方面具有更好的可扩展性。