[论文解读] Sliced Iterative Normalizing Flows

Biwei Dai, Uroš Seljak|arXiv (Cornell University)|Jul 1, 2020

Generative Adversarial Networks and Image Synthesis参考文献 59被引用 4

一句话总结

本文提出了一种新型深度生成模型——切片迭代归一化流（Sliced Iterative Normalizing Flows, SINF），该模型通过在1D切片上迭代应用最优传输（Optimal Transport）将简单先验分布转换为复杂的数据分布。通过在每一步选择能最大化Wasserstein距离的切片方向，SINF在样本质量方面达到当前最优水平，与GAN相当，同时在密度估计方面表现出色，具有高度稳定性与低超参数敏感性，即使在小样本数据集上亦表现良好。

ABSTRACT

We develop an iterative (greedy) deep learning (DL) algorithm which is able to transform an arbitrary probability distribution function (PDF) into the target PDF. The model is based on iterative Optimal Transport of a series of 1D slices, matching on each slice the marginal PDF to the target. The axes of the orthogonal slices are chosen to maximize the PDF difference using Wasserstein distance at each iteration, which enables the algorithm to scale well to high dimensions. As special cases of this algorithm, we introduce two sliced iterative Normalizing Flow (SINF) models, which map from the data to the latent space (GIS) and vice versa (SIG). We show that SIG is able to generate high quality samples of image datasets, which match the GAN benchmarks, while GIS obtains competitive results on density estimation tasks compared to the density trained NFs, and is more stable, faster, and achieves higher $p(x)$ when trained on small training sets. SINF approach deviates significantly from the current DL paradigm, as it is greedy and does not use concepts such as mini-batching, stochastic gradient descent and gradient back-propagation through deep layers.

研究动机与目标

• 通过引入一种新的优化范式，解决标准归一化流与GAN在样本质量与训练稳定性方面的局限性。
• 通过将高维最优传输问题分解为一系列沿自适应切片的1D传输问题，克服最优传输在高维空间中的复杂性。
• 开发一种基于贪心策略、无需反向传播的训练框架，避免深度学习中常见的梯度消失与模式崩溃等问题。
• 在生成建模与密度估计任务中均实现具有竞争力的性能，且对超参数高度不敏感，对随机种子具有强鲁棒性。

提出的方法

• 提出一种新度量——最大K-切片Wasserstein距离，用于指导正交切片方向的选择，以最大化当前分布与目标分布之间的差异。
• 沿选定切片方向，迭代应用1D最优传输于边缘分布，以贪心、累加方式更新变换。
• 采用有理二次样条（rational quadratic splines）实现1D耦合流，并对样条参数施加正则化，结合线性外推以确保稳定性。
• 为高维图像设计分层块状架构，从大块开始，逐步使用更小的块进行精细化处理。
• 在密度估计任务中应用logit变换进行预处理，并采用基于Scott法则的核密度估计（KDE）带宽估计方法实现非参数密度估计。
• 训练两种变体：GIS（数据到潜在空间）用于密度估计，SIG（潜在空间到数据）用于采样，两者均采用迭代、非反向传播的优化策略。

实验结果

研究问题

• RQ1 在自适应切片上迭代应用1D最优传输，是否能在无需对抗训练的情况下实现与GAN相当的高质量图像生成？
• RQ2 该方法是否能在小样本数据集上实现具有竞争力的密度估计性能，超越标准归一化流？
• RQ3 由于不使用反向传播与小批量训练，是否能带来显著更稳定的训练过程，并降低对超参数的敏感性？
• RQ4 最大K-切片Wasserstein距离度量是否能有效指导切片方向的选择，从而在高维空间中实现高效扩展？
• RQ5 分层块状架构如何提升在CIFAR-10与CelebA等高维图像数据上的性能？

主要发现

• SIG生成的图像样本质量高，FID与IS得分与GAN基准相当，证明其在无对抗训练条件下具备强大的生成能力。
• GIS在MNIST、CIFAR-10与CelebA数据集上实现了具有竞争力的密度估计结果，log-likelihood值高于标准归一化流，尤其在小规模训练集上表现更优。
• 模型展现出极佳的训练稳定性：在多个随机种子与数据集上均未观察到训练失败。
• 性能对超参数选择（包括学习率、正则化强度与核带宽）高度不敏感，不同配置下结果保持稳定。
• 在小样本数据集（如1000个样本）上，GIS的log-likelihood显著高于基线归一化流，表明其泛化能力更强。
• 采用从q=8到q=2逐步减小的块大小的分层块状方法可提升图像数据集上的性能，每种块大小迭代200次时达到最优效果。