[论文解读] On the Universality of Volume-Preserving and Coupling-Based Normalizing Flows

Felix Draxler, Stefan Wahl+2 more|arXiv (Cornell University)|Feb 9, 2024

Simulation Techniques and ApplicationsDecision Sciences被引用 3

一句话总结

本文建立了一套新的理论框架，证明基于仿射耦合的归一化流能够作为概率分布的通用逼近器，克服了以往依赖病态网络或体积保持流所导致的局限性。作者提出一种构造性、逐层训练的方法，确保收敛至目标分布，表明通过具有表现力的耦合函数，可在不依赖病态网络行为的前提下实现高效且实用的通用逼近。

ABSTRACT

We present a novel theoretical framework for understanding the expressive power of normalizing flows. Despite their prevalence in scientific applications, a comprehensive understanding of flows remains elusive due to their restricted architectures. Existing theorems fall short as they require the use of arbitrarily ill-conditioned neural networks, limiting practical applicability. We propose a distributional universality theorem for well-conditioned coupling-based normalizing flows such as RealNVP. In addition, we show that volume-preserving normalizing flows are not universal, what distribution they learn instead, and how to fix their expressivity. Our results support the general wisdom that affine and related couplings are expressive and in general outperform volume-preserving flows, bridging a gap between empirical results and theoretical understanding.

研究动机与目标

• 解决基于耦合的归一化流在经验成功与理论理解之间的鸿沟。
• 识别并解决现有通用性定理中依赖病态神经网络的根本性局限。
• 证明在KL散度下，体积保持流并非通用逼近器，这是关键的实际损失度量。
• 通过顺序层训练，提供一种构造性、实用的仿射耦合流通用性证明。
• 通过阐明耦合函数在实现高效分布逼近中的作用，指导更具表现力的耦合函数设计。

提出的方法

• 通过顺序层训练提出一种构造性通用性证明，确保收敛至目标分布。
• 使用仿射耦合模块，先旋转潜在分布，再通过学习到的缩放和偏移参数将活跃维度变换为零均值和单位方差。
• 采用三次样条插值，从分箱数据中估计条件均值和标准差，实现耦合函数的平滑参数化。
• 通过与恒等映射的凸组合施加步长约束，以稳定训练并减少有限数据带来的伪影。
• 通过迭代重采样训练数据，防止在顺序层优化过程中过拟合。
• 将体积保持流（雅可比行列式恒定）与可变雅可比行列式流进行比较，以隔离体积保持对表达能力的影响。

Figure 1: Our universality proof constructs a normalizing flow by iteratively adding affine coupling blocks. We illustrate this by constructing such a flow from real data. Each block first rotates the distribution $p_{n-1}(z)$ from the previous step (first column) , then applies an affine coupling l

实验结果

研究问题

• RQ1 基于耦合的归一化流是否能在不依赖病态神经网络的前提下，实现对概率分布的通用逼近？
• RQ2 体积保持特性是否隐含存在于现有耦合流通用性证明中？其是否限制了实际应用？
• RQ3 构造性、逐层训练方法是否能在实践中确保收敛至目标分布？
• RQ4 耦合函数的表达能力如何影响实现良好分布逼近所需的层数？
• RQ5 雅可比行列式的变化在归一化流的表达能力中起什么作用？

主要发现

• 在KL散度下，体积保持的归一化流并非通用逼近器，这否定了其在实际分布学习中的应用，尽管存在理论宣称。
• 现有耦合流通用性证明隐式构建了体积保持变换，由于表达能力受限，这限制了其实际相关性。
• 所提出的逐层训练方法构建的归一化流可收敛至目标分布，已在具有100层的环形数据分布上得到验证。
• 该方法通过迭代旋转和仿射耦合逐步降低损失，最终使潜在分布收敛至标准正态分布，实现精确的密度估计与采样。
• 具有可变雅可比行列式的流优于体积保持的对应方法，证实非体积保持变换对表达能力至关重要。
• 理论与实证结果共同验证，仿射耦合模块是归一化流的坚实基础，尤其当耦合函数具有足够表达力时。

Figure 2: A normalizing flow with constant Jacobian determinant is not able to model a simple bimodal mixture (first vs second row) : The modeled density in both modes is almost identical despite their different weight in the ground truth. Also, the volume-preserving flow really has only one maximum