[论文解读] Normalizing Flows on Tori and Spheres

Danilo Jimenez Rezende, George Papamakarios+5 more|arXiv (Cornell University)|Feb 6, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用 58

一句话总结

该论文通过从 S1 递归构建到更高维度，开发了针对紧致流形（单位圆、圆环、球面）的表达性强且数值稳定的归一化流，并展示了它们在合成方向性目标上的应用。

ABSTRACT

Normalizing flows are a powerful tool for building expressive distributions in high dimensions. So far, most of the literature has concentrated on learning flows on Euclidean spaces. Some problems however, such as those involving angles, are defined on spaces with more complex geometries, such as tori or spheres. In this paper, we propose and compare expressive and numerically stable flows on such spaces. Our flows are built recursively on the dimension of the space, starting from flows on circles, closed intervals or spheres.

研究动机与目标

• 动机并解决标准欧几里得流与非欧几里得数据拓扑（圆、圆环、球面）之间的错配。
• 提出在 S1、TD（圆环）和 SD（球面）上构建的、由简单构件递归构成的表达性归一化流。
• 确保在非欧几里得流形上的密度评估和采样具有数值稳定性与可处理性。
• 将所提的流形感知流与方向统计和几何流的先前方法进行比较。

提出的方法

• 在 S1 上构建圆流，带边界条件以确保有效的圆同胚映射（Equations 3–6）。
• 通过自回归地将圆同胚映射组合为 p(theta1,...,thetaD) 来在 TD 上构建圆环流。
• 通过递归圆柱映射和密度更新在 SD 上发展球面流；给出显式的密度校正项。
• 引入三种圆特定的微分同胚：莫比乌斯变换、圆形样条和非紧投影（NCP）。
• 通过递归的 (s1-c1) 耦合和用于 SD 的指数映射流变体，将其扩展到更高维。
• 提供密度变化公式和稳定性考虑（如，equations 15–20）并讨论计算权衡。

实验结果

研究问题

• RQ1 如何在非欧几里得流形如 S1、TD 和 SD 上定义并训练归一化流？
• RQ2 哪些构造在圆、圆环和球面上能够产出表达性强且数值稳定的流？
• RQ3 考虑到锐利、 多峰和相关的方向密度，流形感知流与传统欧几里得流在建模上的比较如何？
• RQ4 提出的球面和圆环流的密度更新规则及计算成本是多少？
• RQ5 基于指数映射的流是否能在球面上提供替代且可处理的选项？

主要发现

• 提出并验证在紧致连通流形上表达性强且数值稳定的圆、圆环和球面流。
• 证明圆环密度可以自回归地使用圆基条件变换器建模。
• 通过圆柱变换的递归球面流演示，具有解析可处理的密度更新（并讨论稳定性）。
• 提出三种圆的微分同胚（Möbius、圆形样条、非紧投影）来构建丰富的 S1 流。
• 在合成目标上的经验结果，展示了学习锐利、多模态且相关密度的能力，并使用 ESS-based 评估。
• 讨论确保递归构建的密度有界的密度更新公式及稳定性的条件。