[论文解读] Riemannian Diffusion Models
该论文提出了黎曼扩散模型（Riemannian Diffusion Models, RDM），通过伊滕斯特拉托诺维奇SDE和外蕴嵌入方法，将连续时间扩散模型推广至任意黎曼流形。该方法推导出等价于黎曼分数匹配的变分下界，通过QR分解和投影Hutchinson方法实现高效的似然估计，并在球面、环面、双曲面和正交群上实现了新的最先进似然性能。
Diffusion models are recent state-of-the-art methods for image generation and likelihood estimation. In this work, we generalize continuous-time diffusion models to arbitrary Riemannian manifolds and derive a variational framework for likelihood estimation. Computationally, we propose new methods for computing the Riemannian divergence which is needed in the likelihood estimation. Moreover, in generalizing the Euclidean case, we prove that maximizing this variational lower-bound is equivalent to Riemannian score matching. Empirically, we demonstrate the expressive power of Riemannian diffusion models on a wide spectrum of smooth manifolds, such as spheres, tori, hyperboloids, and orthogonal groups. Our proposed method achieves new state-of-the-art likelihoods on all benchmarks.
研究动机与目标
- 将连续时间扩散模型从欧几里得空间推广至具有非零曲率的任意黎曼流形。
- 基于黎曼Feynman-Kac表示和Girsanov定理，为黎曼流形上的似然估计开发变分框架。
- 在不依赖最近点投影的前提下，实现黎曼散度在变分目标中的高效计算。
- 通过时间积分上的重要性采样，提出方差缩减的KELBO目标，提升似然估计精度。
- 在多种流形上对模型进行实证验证，实现新的最先进似然性能。
提出的方法
- 在高维欧几里得空间中对嵌入的黎曼流形使用伊滕斯特拉托诺维奇SDE描述推理和生成过程，保留标准微积分规则。
- 通过Feynman-Kac表示和Girsanov定理推导黎曼连续时间ELBO，推广欧几里得CT-ELBO。
- 提出基于QR分解的方法，实现低维流形上黎曼散度的高效计算。
- 提出投影Hutchinson方法，实现高维设置下黎曼散度的可扩展、无偏估计。
- 通过时间积分上的重要性采样，提出方差缩减技术，避免对精心设计的噪声调度的依赖。
- 通过K=100次采样实现KELBO目标，使变分下界更紧密地逼近真实对数似然。
实验结果
研究问题
- RQ1连续时间扩散模型能否被推广至欧几里得空间以外的任意黎曼流形？
- RQ2所提出的黎曼流形上变分下界是否与边际等价SDE下的黎曼分数匹配等价？
- RQ3能否在不依赖最近点投影的前提下，实现黎曼散度的高效且可扩展的计算？
- RQ4与标准ELBO相比，所提出的方差缩减KELBO目标是否能提升似然估计精度？
- RQ5RDM能否在球面、环面、双曲空间和正交群等多样化流形上实现最先进似然性能？
主要发现
- RDM在所有评估的流形上均实现了新的最先进似然性能，包括球面、环面、双曲空间和正交群。
- 在边际等价SDE下，黎曼CT-ELBO在理论上等价于黎曼分数匹配，验证了变分框架的有效性。
- 基于QR分解的方法可在低维流形上实现高效的黎曼散度计算，提升训练稳定性。
- 投影Hutchinson方法提供了适用于高维流形的可扩展、无偏黎曼散度估计器。
- K=100的KELBO目标可得到更紧的下界，且随着K增大，该下界单调逼近真实对数似然。
- 采用自适应步长积分，误差容限为1e-3，最小步长为1e-5，确保了评估过程中数值积分的准确性。
更好的研究，从现在开始
从阅读论文到最终审阅，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。