[论文解读] Representational aspects of depth and conditioning in normalizing flows

Frederic Koehler, Viraj Mehta+1 more|arXiv (Cornell University)|Oct 2, 2020

Generative Adversarial Networks and Image Synthesis参考文献 27被引用 7

一句话总结

本文研究归一化流的表征能力，重点关注深度和条件性。证明了仿射耦合层可在恒定深度下精确表示排列或1×1卷积，并表明在允许病态条件的情况下，浅层网络是Wasserstein距离下的通用逼近器。主要贡献在于，针对具有有界Lipschitz常数和每层少量神经元的一般可逆架构，建立了理论深度下界。

ABSTRACT

Normalizing flows are among the most popular paradigms in generative modeling, especially for images, primarily because we can efficiently evaluate the likelihood of a data point. This is desirable both for evaluating the fit of a model, and for ease of training, as maximizing the likelihood can be done by gradient descent. However, training normalizing flows comes with difficulties as well: models which produce good samples typically need to be extremely deep -- which comes with accompanying vanishing/exploding gradient problems. A very related problem is that they are often poorly conditioned: since they are parametrized as invertible maps from $\mathbb{R}^d o \mathbb{R}^d$, and typical training data like images intuitively is lower-dimensional, the learned maps often have Jacobians that are close to being singular. In our paper, we tackle representational aspects around depth and conditioning of normalizing flows: both for general invertible architectures, and for a particular common architecture, affine couplings. We prove that $Θ(1)$ affine coupling layers suffice to exactly represent a permutation or $1 imes 1$ convolution, as used in GLOW, showing that representationally the choice of partition is not a bottleneck for depth. We also show that shallow affine coupling networks are universal approximators in Wasserstein distance if ill-conditioning is allowed, and experimentally investigate related phenomena involving padding. Finally, we show a depth lower bound for general flow architectures with few neurons per layer and bounded Lipschitz constant.

研究动机与目标

• 理解由于深度和条件性导致的归一化流表征能力的限制。
• 分析架构选择（如分割方式或排列层）是否限制仿射耦合流的表征能力。
• 建立可逆网络逼近复杂分布所需深度的理论界限。
• 研究雅可比矩阵条件数（例如奇异雅可比矩阵）在限制模型表达能力与训练稳定性方面的作用。

提出的方法

• 证明Θ(1)数量的仿射耦合层可精确表示任意排列或1×1卷积，表明分割方式并非表征瓶颈。
• 通过使用随机掩码和高斯混合的构造，表明在允许病态条件的情况下，浅层仿射耦合网络可在Wasserstein距离下实现通用逼近。
• 利用参数空间上的ε-网论证来界定逼近误差，利用可逆网络的Lipschitz连续性。
• 应用Bobkov-Götze不等式将Wasserstein距离与KL散度关联，从而通过Wasserstein距离获得KL散度的下界。
• 通过一族多模态分布和三角不等式论证，推导出一般可逆架构的深度下界。
• 利用极值组合学结果（Rödl和Thoma，1996）构造高维向量中重叠度低的子集，以构造难以逼近的分布。

实验结果

研究问题

• RQ1 仿射耦合层在固定层数下能否精确表示GLOW等模型中使用的1×1卷积或排列？
• RQ2 若允许病态条件，是否可能通过浅层仿射耦合网络在Wasserstein距离下实现通用逼近？
• RQ3 当权重有界且每层神经元数量有限时，一般可逆架构表示复杂分布所需的最小深度是多少？
• RQ4 雅可比矩阵的条件数如何影响归一化流的表征能力与训练稳定性？
• RQ5 在标准训练设置下，不使用填充或排列层是否也能实现通用逼近？

主要发现

• 具有Θ(1)深度的仿射耦合层可精确表示任意排列或1×1卷积，证明分割方式并非表征瓶颈。
• 在允许病态条件的情况下，浅层仿射耦合网络是Wasserstein距离下的通用逼近器，通过使用掩码高斯混合的构造得以验证。
• 针对具有有界Lipschitz常数和每层少量神经元的一般可逆架构，建立了深度下界，表明深度对于表示某些多模态分布是必要的。
• 本文表明，均值分离的k个高斯分布的混合可被大小为O(k)的网络通过前向推导逼近，且该结果与ε无关，尽管权重随ε变化。
• 通过L-Lipschitz生成器对标准高斯分布的前向推导满足次高斯尾部条件，使得Bobkov-Götze不等式可应用，从而关联Wasserstein距离与KL散度。
• 理论结果通过参数空间上的ε-网论证得到支持，表明任何可逆网络均可通过大小为O((LR/ε)^d')的有限集合在期望下以ε误差逼近。