[论文解读] Relaxing Bijectivity Constraints with Continuously Indexed Normalising Flows

Rob Cornish, Anthony L. Caterini+2 more|arXiv (Cornell University)|Sep 30, 2019

Generative Adversarial Networks and Image Synthesis参考文献 56被引用 22

一句话总结

本文提出了连续索引流（CIFs），这是一种新型的归一化流框架，用连续索引的双射族替代单一的双射变换，从而能够以更精确的方式建模具有非平凡拓扑结构的复杂目标分布。与标准流不同，CIFs 避免了对任意大的双-Lipschitz 常数的需求，并在拓扑结构复杂的数据上实现了更好的似然度和支撑集恢复效果，即使层数少于标准流也表现更优。

ABSTRACT

We show that normalising flows become pathological when used to model targets whose supports have complicated topologies. In this scenario, we prove that a flow must become arbitrarily numerically noninvertible in order to approximate the target closely. This result has implications for all flow-based models, and especially Residual Flows (ResFlows), which explicitly control the Lipschitz constant of the bijection used. To address this, we propose Continuously Indexed Flows (CIFs), which replace the single bijection used by normalising flows with a continuously indexed family of bijections, and which can intuitively "clean up" mass that would otherwise be misplaced by a single bijection. We show theoretically that CIFs are not subject to the same topological limitations as normalising flows, and obtain better empirical performance on a variety of models and benchmarks.

研究动机与目标

• 识别标准归一化流在建模具有复杂支撑集的目标分布时的根本性拓扑限制。
• 证明标准流必须在数值上变得不可逆（双-Lipschitz 常数 → ∞），才能近似具有复杂拓扑结构的目标。
• 提出一类新型归一化流——连续索引流（CIFs），以规避这些拓扑约束。
• 证明 CIFs 可以在不依赖任何组件双射中出现无穷大双-Lipschitz 常数的情况下，精确建模复杂支撑集。
• 在表格数据、图像和 2D 数据集上对 CIFs 进行实证验证，结果表明其在似然度和样本质量方面优于标准流。

提出的方法

• CIFs 通过用连续索引的双射族 {F(⋅;u)}u∈U 替代单一双射 f，推广了标准归一化流，其中 u 为连续索引。
• 该模型使用潜变量 u ∈ U 条件化变换，使流能够动态重定向质量以修正拓扑错位。
• 索引 u 被建模为与每一层流的潜空间具有相同空间维度的可学习连续变量。
• 由于连续索引的存在，精确似然计算不可行，因此方法采用变分近似来估计似然。
• 该架构可与标准流组件（如耦合层、残差块和自回归流）集成，使用独立的神经网络对变换和索引映射进行参数化。
• 索引网络 Uℓ 被上采样以匹配潜变量 Zℓ 的维度，从而实现逐通道条件化。

实验结果

研究问题

• RQ1 标准归一化流能否准确建模支撑集具有复杂拓扑结构（如多个连通分支或孔洞）的目标分布？
• RQ2 流的双-Lipschitz 常数与其近似复杂拓扑目标的能力之间存在何种理论关系？
• RQ3 在建模具有复杂拓扑结构的分布时，是否可以设计一种流架构，避免对任意大的双-Lipschitz 常数的依赖？
• RQ4 连续索引的双射族是否能实现优于标准流的支撑集恢复和似然估计？
• RQ5 CIFs 是否能在复杂密度估计任务中，以更少的层数实现优于标准流的性能？

主要发现

• 本文证明，为近似具有复杂支撑集的目标分布，标准归一化流的双-Lipschitz 常数必须趋近于无穷大，导致其在数值上不可逆。
• 在具有非平凡拓扑结构的 2D 数据集上，10 层的 CIF-ResFlow 实现了 -1.409 的测试对数似然，优于 100 层的 ResFlow（-1.419）和 10 层的 ResFlow（-1.501）。
• 对于螺旋数据集，5 层的 CIF-MAF（119,910 个参数）优于 20 层的 MAF（160,160 个参数），且更大的 20 层 MAF 在训练中发散。
• 在 Fashion-MNIST 和 CIFAR-10 数据集上，CIF-RealNVP 模型（607 万个参数）的样本质量更高，对数似然也优于标准 RealNVP（305 万个参数）。
• CIF-ResFlow 在两个 2D 数据集上的平均测试对数似然均高于 100 层的 ResFlow，表明 CIFs 可以用更少的层数实现更优效果。
• 该方法成功恢复了如纽结或不连通支撑集等复杂拓扑结构，且无需在任一组件变换中使用无穷大的双-Lipschitz 常数。