[论文解读] SoftFlow: Probabilistic Framework for Normalizing Flow on Manifolds

Hyeong‐Ju Kim, H. S. Lee+3 more|arXiv (Cornell University)|Jun 8, 2020

3D Shape Modeling and Analysis参考文献 28被引用 46

一句话总结

SoftFlow 在流形上训练正向流，通过学习扰动数据的条件分布实现高质量样本，并扩展到 3D 点云，使用 SoftPointFlow。

ABSTRACT

Flow-based generative models are composed of invertible transformations between two random variables of the same dimension. Therefore, flow-based models cannot be adequately trained if the dimension of the data distribution does not match that of the underlying target distribution. In this paper, we propose SoftFlow, a probabilistic framework for training normalizing flows on manifolds. To sidestep the dimension mismatch problem, SoftFlow estimates a conditional distribution of the perturbed input data instead of learning the data distribution directly. We experimentally show that SoftFlow can capture the innate structure of the manifold data and generate high-quality samples unlike the conventional flow-based models. Furthermore, we apply the proposed framework to 3D point clouds to alleviate the difficulty of forming thin structures for flow-based models. The proposed model for 3D point clouds, namely SoftPointFlow, can estimate the distribution of various shapes more accurately and achieves state-of-the-art performance in point cloud generation.

研究动机与目标

• 动机并解决当数据位于低维流形上时的维度不匹配问题。
• 提出 SoftFlow，通过对扰动数据在噪声条件下建模来训练流，而不是对精确数据分布进行建模。
• 证明 SoftFlow 能捕捉流形结构并产生高质量样本。
• 通过 SoftPointFlow 将 SoftFlow 扩展到 3D 点云，以改善薄结构的生成。

提出的方法

• 用从随机分布中抽取的噪声扰动每个数据点，并将流条件设定在噪声参数上。
• 训练正则化流以建模扰动数据的条件分布，通过减小扰动来进行采样。
• 通过在动力学中对噪声进行条件设定，将该框架应用于连续正则化流（CNF 背景）。
• 将该方法调整至 SoftPointFlow 的离散正则化流，以建模 3D 点云和潜在形状变量。
• 使用两级架构（PriorFlow 和 DecoderFlow），具有潜在变量 S 和点的自回归解码步骤。
• 使用合成流形数据和点云基准进行评估，并对比 Glow、FFJORD 和基于 GAN 的基线方法。

实验结果

研究问题

• RQ1 正则化流是否能够通过学习扰动条件分布，准确建模位于低维流形上的数据？
• RQ2 SoftFlow 能否生成忠实反映流形结构的样本，避免模式塌缩或几何失真？
• RQ3 与现有基于流的方法相比，SoftFlow 能否在 3D 点云生成，尤其是薄结构方面有所改进？

主要发现

• SoftFlow 产生高质量的样本，与流形数据分布高度一致，在若干合成流形上优于 Glow 和 FFJORD。
• SoftPointFlow 在 3D 点云生成方面达到最先进或具有竞争力的结果，尤其是在保留薄结构方面。
• SoftPointFlow 在飞机、椅子和汽车类别中显示出更好的 1-NNA (CD/EMD) 指标，相较于 PointFlow 和 GAN 基线。
• 偏好测试表明，在各类别中 SoftPointFlow 的样本通常比 PointFlow 重建更受欢迎。
• SoftFlow 提供了一种灵活且广泛适用的方法，可以与离散和连续正则化流结合。