[论文解读] Tractable Density Estimation on Learned Manifolds with Conformal Embedding Flows

Brendan Leigh Ross, Jesse C. Cresswell|arXiv (Cornell University)|Jun 9, 2021

Generative Adversarial Networks and Image Synthesis被引用 7

一句话总结

本文提出了一种新型的归一化流框架——共形嵌入流（Conformal Embedding Flows, CEFs），通过将标准归一化流与可学习的共形嵌入相结合，实现了在低维流形上的可 tractable（可处理）密度估计。该方法在保持精确似然计算的同时，能够建模支持在未知流形上的数据——在合成数据和真实世界数据上均实现了最先进性能，具备高效的采样、推理与似然估计能力。

ABSTRACT

Normalizing flows are generative models that provide tractable density estimation via an invertible transformation from a simple base distribution to a complex target distribution. However, this technique cannot directly model data supported on an unknown low-dimensional manifold, a common occurrence in real-world domains such as image data. Recent attempts to remedy this limitation have introduced geometric complications that defeat a central benefit of normalizing flows: exact density estimation. We recover this benefit with Conformal Embedding Flows, a framework for designing flows that learn manifolds with tractable densities. We argue that composing a standard flow with a trainable conformal embedding is the most natural way to model manifold-supported data. To this end, we present a series of conformal building blocks and apply them in experiments with synthetic and real-world data to demonstrate that flows can model manifold-supported distributions without sacrificing tractable likelihoods.

研究动机与目标

• 解决传统归一化流在建模支持于低维流形（如图像等真实世界数据中常见）的数据时的局限性。
• 克服现有单射流模型在流形结构建模与可处理密度估计之间存在的权衡。
• 开发一种框架，实现在学习数据流形的内在维度与几何结构的同时，实现精确的似然计算。
• 设计可组合的、可逆的共形层，保持雅可比行列式可处理性，并支持嵌入与流组件的联合训练。

提出的方法

• 提出共形嵌入流（CEFs）作为可学习共形嵌入（从低维潜在空间映射到数据空间）与标准归一化流的组合。
• 引入三种新型可逆层：正交 $k\times k$ 卷积、条件正交变换与特殊共形变换，均设计为保持共形性与可处理的雅可比行列式。
• 确保嵌入层为共形（保角）以维持可逆性，并可通过变量变换公式实现精确密度估计。
• 使用混合损失函数，结合重建损失（用于嵌入）与对数似然最大化（用于流），实现整个模型的联合训练。
• 将该框架应用于合成流形（如64维与512维船体流形）和真实世界数据集（MNIST、CelebA），采用多尺度流与可逆1×1卷积。
• 利用共形映射的几何特性，即使在从低维潜在空间映射到高维数据空间时，也能保持雅可比行列式的可处理性。

实验结果

研究问题

• RQ1 归一化流能否被扩展以建模支持于未知低维流形的数据，同时保持精确的密度估计？
• RQ2 如何设计共形嵌入作为可逆、可处理的层，以在基于流的模型中保持似然计算？
• RQ3 与顺序训练相比，联合训练嵌入与流组件在多大程度上能提升流形学习与密度估计性能？
• RQ4 与标准流或单射流相比，共形嵌入能否在真实世界图像数据集（如CelebA与MNIST）上实现更优的采样质量与似然性能？

主要发现

• 在合成的64维与512维船体流形上，CEFs在似然得分上达到最先进水平，优于所有顺序与联合基线模型。
• 在合成数据与CelebA数据集上，采用共形嵌入的联合CEF模型显著优于顺序基线模型的对数似然，证明了端到端训练的优势。
• 从CEFs生成的重建结果在复杂流形上明显优于标准归一化流与单射流，表明其具有更好的流形对齐能力。
• 共形嵌入的使用使得即使从低维潜在空间映射，也能实现精确的似然计算，解决了先前单射流方法的关键局限。
• 在CelebA数据集上，联合CEF模型实现了-4.78 bits/dim的对数似然，优于顺序基线，并与强生成模型具有竞争力。
• 由于共形层的可逆性与可处理的雅可比行列式，该方法保持了高效的采样与推理，实现了模型的完全可处理性。