[论文解读] Variational Autoencoders and Nonlinear ICA: A Unifying Framework

Ilyes Khemakhem, Diederik P. Kingma+2 more|arXiv (Cornell University)|Jul 10, 2019

Neural Networks and Applications参考文献 30被引用 130

一句话总结

本文通过对观测变量条件性因子化潜在先验的引入，给VAE引入可 identifiability，unifying VAEs with identifiable nonlinear ICA 并在简单变换下证明潜在源的恢复。

ABSTRACT

The framework of variational autoencoders allows us to efficiently learn deep latent-variable models, such that the model's marginal distribution over observed variables fits the data. Often, we're interested in going a step further, and want to approximate the true joint distribution over observed and latent variables, including the true prior and posterior distributions over latent variables. This is known to be generally impossible due to unidentifiability of the model. We address this issue by showing that for a broad family of deep latent-variable models, identification of the true joint distribution over observed and latent variables is actually possible up to very simple transformations, thus achieving a principled and powerful form of disentanglement. Our result requires a factorized prior distribution over the latent variables that is conditioned on an additionally observed variable, such as a class label or almost any other observation. We build on recent developments in nonlinear ICA, which we extend to the case with noisy, undercomplete or discrete observations, integrated in a maximum likelihood framework. The result also trivially contains identifiable flow-based generative models as a special case.

研究动机与目标

• 在超越边际数据拟合的前提下，激发对深潜变量模型的可 identifiability。
• 引入 p(z|u) 的条件因子化潜在先验，以实现可 identifiability。
• 在最大似然框架内将 VAEs 与可 identifiable nonlinear ICA 统一起来。
• 证明可 identifiability 的先验有助于恢复潜在结构并实现数据合成。

提出的方法

• 定义一个条件生成模型 p(x,z|u)=p_f(x|z)p_T,lambdab(z|u) 其中 x=f(z)+epsilon。
• 假设 f 是单射且 epsilon 为独立噪声。
• 将 p(z|u) 指定为带参数 lambda(u) 的条件因子化指数族先验。
• 通过变分下界与重参数化技巧训练一个可 identifiability 的 VAE（iVAE）。
• 在可逆线性变换 A 和分量级非线性变换 T_i 下的 identifiability（至今仅）可证。
• 将该框架与非线性 ICA 联系起来，并讨论包括归一化流在内的特例。

实验结果

研究问题

• RQ1 当潜在先验条件在观测变量 u 上时，VAEs 是否能够识别真实的联合分布 p(x,z)？
• RQ2 在什么条件下，模型可 identifiable（至简单变换 A 和 T_i）而非完全 identifiability？
• RQ3 将潜在先验对 u 的条件化如何使 VAEs 与非线性 ICA 以及可 identifiable flow 模型相关联？
• RQ4 在实际场景中，所提出的 iVAE 是否能够恢复潜在源并实现可用的数据合成？

主要发现

• 对于一类广义的深潜变量模型，带条件潜在先验时，可 identifiability 在简单变换下可实现。
• 在温和条件下，潜在变量可以被恢复到一个可逆线性变换和分量级非线性（T_i）之下的近似。
• iVAE 框架通过类似最大似然目标估计，在仿真中得到的潜在表示与真实联合分布高度近似。
• 在仿真中，iVAE 在恢复真实源方面显著优于 vanilla VAE 和解耦基线（如 2D 实验中的 MCC > 95%）。
• 该方法为 VAEs 与非线性 ICA 之间提供了一个有原理的联系，并将可 identifiable 基于流的模型作为特例纳入。