[论文解读] NICE: Non-linear Independent Components Estimation

Laurent Dinh, David Krueger+1 more|arXiv (Cornell University)|Oct 30, 2014

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 1,343

一句话总结

NICE 提出了一种深度生成模型，通过学习非线性、可逆变换，将复杂数据分布映射到具有独立分量的因子化潜在空间。通过使用具有可计算雅可比行列式和精确似然优化的耦合层，该方法实现了高效的训练、无偏采样以及在图像生成和图像修复任务中的优异性能，在 MNIST、SVHN 和 CIFAR-10 上达到了最先进的对数似然结果。

ABSTRACT

We propose a deep learning framework for modeling complex high-dimensional densities called Non-linear Independent Component Estimation (NICE). It is based on the idea that a good representation is one in which the data has a distribution that is easy to model. For this purpose, a non-linear deterministic transformation of the data is learned that maps it to a latent space so as to make the transformed data conform to a factorized distribution, i.e., resulting in independent latent variables. We parametrize this transformation so that computing the Jacobian determinant and inverse transform is trivial, yet we maintain the ability to learn complex non-linear transformations, via a composition of simple building blocks, each based on a deep neural network. The training criterion is simply the exact log-likelihood, which is tractable. Unbiased ancestral sampling is also easy. We show that this approach yields good generative models on four image datasets and can be used for inpainting.

研究动机与目标

• 开发一种深度学习框架，通过学习非线性、可逆变换将复杂高维数据分布映射到因子化潜在空间。
• 通过确保变换的雅可比行列式具有计算可处理性，实现精确对数似然训练。
• 通过保持可逆性及可计算的逆变换，支持高效的祖先采样与推理。
• 通过显式密度估计发现有意义且解耦的表示，提升生成建模在图像数据集上的性能。
• 通过在缺失区域上最大化似然，证明模型在图像修复等下游任务中的适用性。

提出的方法

• 该模型使用双射的非线性变换 $ f $，将输入数据 $ x $ 映射到潜在变量 $ h = f(x) $，确保可逆性并可计算雅可比行列式。
• 变换由耦合层构建，将输入分为两部分：$ y_1 = x_1 $，$ y_2 = x_2 + m(x_1) $，其中 $ m $ 是一个深度神经网络（例如 ReLU 多层感知机）。
• 该结构确保雅可比行列式的值恰好为 1，使对数行列式计算变得简单，从而可通过变量变换公式实现精确似然评估。
• 逆变换也极为简单：$ x_1 = y_1 $，$ x_2 = y_2 - m(y_1) $，从而支持高效的采样与推理。
• 通过最大化精确对数似然 $ \log p_X(x) = \log p_H(f(x)) + \log |\det \frac{\partial f(x)}{\partial x}| $ 进行模型训练，其中 $ p_H $ 假设为因子化先验（例如标准正态分布或逻辑斯谛分布）。
• 采样时，通过先采样 $ h \sim p_H(h) $，再计算 $ x = f^{-1}(h) $ 实现祖先采样，确保生成过程无偏。

实验结果

研究问题

• RQ1 深度神经网络能否学习一种非线性、可逆变换，将复杂数据分布映射到具有独立分量的因子化潜在空间？
• RQ2 是否可以设计一种归一化流架构，使雅可比行列式计算可处理，同时保持强表示能力？
• RQ3 该模型能否在 MNIST、SVHN 和 CIFAR-10 等标准图像基准上实现具有竞争力的对数似然性能？
• RQ4 该模型能否在无需微调的情况下有效应用于图像修复等结构化生成任务？
• RQ5 使用具有可计算性的归一化流进行精确似然训练，是否能产生比变分方法更优的解耦表示？

主要发现

• 在 MNIST 上，NICE 模型的测试对数似然达到 1980.50 bits/dim，优于使用变分界的方法。
• 在 Tiny ImageNet 数据集（TFD）上，NICE 达到 5514.71 bits/dim 的对数似然，优于此前使用深度因子分析混合模型的最佳结果 5250 bits/dim。
• 在 SVHN 上，模型对数似然达到 11496.55 bits/dim，表明其在更复杂数据集上的强大性能。
• 在 CIFAR-10 上，模型对数似然达到 5371.78 bits/dim，显著优于此前最佳结果 3622 bits/dim（变分下界）。
• 通过祖先采样生成的无偏样本视觉质量高，表明其对数据分布建模有效。
• 在图像修复实验中，通过在缺失像素的似然上使用投影梯度上升，得到了定性合理的重建结果，即使在高遮挡率（如 90%）下也表现良好，尽管偶尔观察到虚假模式。