[论文解读] Multimodal Transitions for Generative Stochastic Networks

Sherjil Ozair, Li Yao+1 more|arXiv (Cornell University)|Dec 19, 2013

Generative Adversarial Networks and Image Synthesis参考文献 29被引用 5

一句话总结

该论文通过使用条件神经自回归密度估计器（NADE）作为转移算子的输出分布，为生成随机网络（GSNs）引入了多模态转移分布。该方法使GSN能够更好地捕捉复杂、多模态的数据分布（如螺旋形和MNIST数字），避免了单模态GSN中常见的虚假模式，实验表明样本多样性与对数似然估计均得到改善。

ABSTRACT

Generative Stochastic Networks (GSNs) have been recently introduced as an alternative to traditional probabilistic modeling: instead of parametrizing the data distribution directly, one parametrizes a transition operator for a Markov chain whose stationary distribution is an estimator of the data generating distribution. The result of training is therefore a machine that generates samples through this Markov chain. However, the previously introduced GSN consistency theorems suggest that in order to capture a wide class of distributions, the transition operator in general should be multimodal, something that has not been done before this paper. We introduce for the first time multimodal transition distributions for GSNs, in particular using models in the NADE family (Neural Autoregressive Density Estimator) as output distributions of the transition operator. A NADE model is related to an RBM (and can thus model multimodal distributions) but its likelihood (and likelihood gradient) can be computed easily. The parameters of the NADE are obtained as a learned function of the previous state of the learned Markov chain. Experiments clearly illustrate the advantage of such multimodal transition distributions over unimodal GSNs.

研究动机与目标

• 解决GSN中单模态转移分布的局限性，后者难以建模复杂、多模态的数据分布。
• 通过使转移算子能够建模多个模式，克服GSN中模式崩溃和虚假模式生成的挑战。
• 提出一种可处理、高效的实现多模态转移的方法，利用依赖于当前状态的可学习参数的条件NADE模型。
• 证明多模态转移能提升合成数据和真实世界数据中的样本质量与多样性，尤其在避免MNIST上的非数字类样本方面表现更优。
• 研究多模态转移与回溯训练过程之间的权衡，后者可进一步抑制虚假模式。

提出的方法

• 使用条件NADE作为转移算子的输出分布，使模型能够表示对下一状态的多模态条件分布。
• 将NADE参数作为马尔可夫链当前状态的函数进行训练，实现上下文相关的复杂转移动态。
• 利用NADE的可处理似然和梯度计算，高效训练GSN，无需在训练期间使用昂贵的MCMC采样。
• 采用去噪自编码器准则进行GSN训练，与先前工作类似，但关键创新在于使用NADE替代因子分解分布作为转移算子的输出。
• 使用标准马尔可夫链采样进行推理和评估，每一步收集样本以评估混合性能和对数似然表现。
• 在合成数据和真实数据上，使用一致的评估协议，将所提出的GSN-NADE模型与标准因子分解GSN（有无回溯训练）进行比较。

实验结果

研究问题

• RQ1 与单模态转移相比，GSN中的多模态转移分布是否能更好地建模复杂、多模态的数据分布？
• RQ2 使用条件NADE作为转移算子如何影响GSN中的样本多样性与质量？
• RQ3 在真实世界数据（如MNIST）上，所提出的多模态GSN是否在对数似然和模式覆盖方面优于标准因子分解GSN？
• RQ4 GSN-NADE的性能与经过回溯训练的GSN相比如何，后者可有效抑制虚假模式？
• RQ5 考虑到从NADE采样比从因子分解分布更昂贵，使用NADE的转移是否存在计算上的权衡？

主要发现

• 在MNIST上，GSN-NADE生成的样本在多样性和视觉真实性方面显著优于因子分解GSN，避免了非数字类的虚假模式。
• 在二维螺旋数据集上，GSN-NADE成功捕捉了真实的多模态底层分布，而因子分解GSN未能正确建模流形。
• GSN-NADE的CSL估计达到-114（基于15万次连续采样），优于GSN-1（-121）和GSN-1-w（-106），表明对数似然估计更优。
• 即使样本每100步收集一次而非每步收集一次，GSN-NADE的CSL估计仍保持-114不变，表明混合性能极佳且无强自相关性。
• 尽管多模态性具有优势，GSN-NADE在对数似然上仍未超越经过回溯训练的因子分解GSN，因为回溯训练更有效地抑制了虚假模式。
• 结果表明，将基于NADE的多模态性与回溯训练相结合可能带来进一步改进，尽管由于NADE采样成本较高，计算开销仍是主要挑战。