[论文解读] The Expressive Power of a Class of Normalizing Flow Models

Zhifeng Kong, Kamalika Chaudhuri|arXiv (Cornell University)|May 31, 2020

Artificial Intelligence in Games被引用 15

一句话总结

本文严格分析了基础归一化流模型（平面流、Sylvester流和Householder流）的表达能力，表明尽管一维平面流是通用逼近器，但使用ReLU或光滑非线性激活的高维流在不引入过深结构的情况下，难以逼近复杂分布。关键结果表明，某些目标分布的变换可能需要深度增长至Ω(d^{1/τ−1})，这表明在高维空间中，中等深度的流模型逼近能力较差。

ABSTRACT

Normalizing flows have received a great deal of recent attention as they allow flexible generative modeling as well as easy likelihood computation. While a wide variety of flow models have been proposed, there is little formal understanding of the representation power of these models. In this work, we study some basic normalizing flows and rigorously establish bounds on their expressive power. Our results indicate that while these flows are highly expressive in one dimension, in higher dimensions their representation power may be limited, especially when the flows have moderate depth.

研究动机与目标

• 为了正式理解基本归一化流模型的表示能力，这些模型被广泛使用，但其表达能力尚不明确。
• 填补理论理解的空白，即这些流在将源分布（如高斯分布）变换为复杂目标分布时的逼近能力。
• 研究常见流架构是否能精确或近似表示任意分布，尤其是在高维空间中。
• 确定使用局部平面流和Householder流逼近特定目标分布所需的最小深度。

提出的方法

• 通过研究平面流所诱导密度的方向导数进行局部分析，重点关注变换如何影响局部密度结构。
• 通过在特定流约束下对输入与输出分布之间的总变差距离进行有界分析，执行全局分析。
• 利用Courant-Fischer定理和特征值分析，对输出空间中固定半径球面上的密度值变化进行有界。
• 应用Gershgorin圆定理对变换矩阵的谱展布进行有界，从而导出依赖于深度的误差界。
• 推导出源分布与变换后分布之间总变差距离的上界，表明其对维度和非线性类型具有依赖性。
• 分析ReLU、tanh、arctan和sigmoid等非线性激活函数下流的行为，重点关注非线性如何影响逼近所需深度。

实验结果

研究问题

• RQ1 具有ReLU激活和高斯源分布的一维平面流能否以任意精度逼近任何定义在有限个区间并集上的目标分布？
• RQ2 任意深度的ReLU-based Sylvester流能否精确地将k个高斯分布的混合或乘积分布变换为另一类此类分布？
• RQ3 对于在原点附近为常数、在外部以exp(−‖x‖₂^{1/τ})衰减的目标分布，使用光滑非线性（如tanh、sigmoid）的局部平面流需要多大深度才能实现准确逼近？
• RQ4 Householder流的逼近误差如何随维度和目标分布与标准高斯分布的接近程度而变化？
• RQ5 与标准神经网络相比，可逆性约束在多大程度上限制了归一化流的表达能力？

主要发现

• 具有ReLU激活和高斯源分布的一维平面流是通用逼近器：它们可以以任意精度逼近任何定义在有限个区间并集上的目标分布。
• 无论深度如何，ReLU-based Sylvester流都无法精确地将k个高斯分布的混合或乘积分布变换为另一类此类分布，除非在极特殊条件下。
• 对于在原点附近为常数、在外部以exp(−‖x‖₂^{1/τ})衰减的目标分布，使用光滑非线性（如tanh、sigmoid）的局部平面流需要Ω(d^{1/τ−1})的深度才能实现准确逼近。
• 当目标分布接近标准高斯分布时，Householder流逼近同一类目标分布同样需要Ω(d^{1/τ−1})的深度。
• 在某些流参数条件下，源分布与变换后分布之间的总变差距离被限制在O(d^{−κ})以内，表明逼近误差随参数稀疏性的增加而减小。
• 分析表明，即使使用tanh或sigmoid等光滑非线性，归一化流在逼近某些目标分布时仍可能需要异常大的深度，尤其是在高维空间中。