[论文解读] Variational Inference of Disentangled Latent Concepts from Unlabeled Observations

Abhishek Kumar, Prasanna Sattigeri+1 more|arXiv (Cornell University)|Nov 2, 2017

Adversarial Robustness in Machine Learning被引用 125

一句话总结

提出 DIP-VAE，一个解耦潜在推断框架，对推断先验进行正则化以鼓励因子化潜变量，提出一个新的 SAP 度量用于解耦，并具有强大的重构性能。

ABSTRACT

Disentangled representations, where the higher level data generative factors are reflected in disjoint latent dimensions, offer several benefits such as ease of deriving invariant representations, transferability to other tasks, interpretability, etc. We consider the problem of unsupervised learning of disentangled representations from large pool of unlabeled observations, and propose a variational inference based approach to infer disentangled latent factors. We introduce a regularizer on the expectation of the approximate posterior over observed data that encourages the disentanglement. We also propose a new disentanglement metric which is better aligned with the qualitative disentanglement observed in the decoder's output. We empirically observe significant improvement over existing methods in terms of both disentanglement and data likelihood (reconstruction quality).

研究动机与目标

• 从无标签观测中学习解耦的潜在因子，以实现不变性、迁移性和可解释性。
• 开发一种变分推断方法，明确对推断先验进行正则化以促进解耦。
• 引入一个实用的解耦度量（SAP），与解码器输出保持一致。
• 在数据集上在解耦和数据似然方面，相对于基线（VAE、beta-VAE）显示出经验上的改进。

提出的方法

• 使用带有解耦先验的生成模型设定的摊销变分推断框架（VAE）。
• 引入一个正则项，通过匹配矩（矩）来惩罚推断先验 q_phi(z) 与解耦先验 p(z) 之间的差异，从而有效去相关潜在维度。
• 定义两种 DIP-VAE 变体：DIP-VAE-I 将 Cov_p(x)[mu_phi(x)] 的对角设为 1、非对角设为 0 进行正则化；DIP-VAE-II 将 Cov_q_phi(z)[z] 同样进行正则化。
• 在 ELBO 上优化，加入由 lambda_od 加权的额外解耦项，以及带有 lambda_d 的对角正则化项（两种变体）。
• 与 beta-VAE 进行比较，论证 DIP-VAE 可避免在 beta-VAE 中观察到的重构与潜变量解耦之间的张力。
• 提出 SAP（Separated Attribute Predictability）作为解耦分数，与定性解耦相关且无需分类器训练。

实验结果

研究问题

• RQ1 能否使用带有解耦先验的变分推断从无标签观测中学习解耦的潜在因子？
• RQ2 在推断先验上进行显式的矩匹配正则化是否会在不牺牲重构质量的前提下提升解耦？
• RQ3 SAP 是否比现有度量（如 Z-diff）更好地与解码器层面的解耦对齐？
• RQ4 DIP-VAE 的两种变体在解耦与重构方面相对于 VAE 和 beta-VAE 在不同数据集上的表现如何？
• RQ5 在真实数据集和合成数据集上应用 DIP-VAE 时，解耦与重构之间的权衡是什么？

主要发现

• DIP-VAE-I 和 DIP-VAE-II 在 2D Shapes 和 CelebA 上的解耦分数（SAP、Z-diff）高于 VAE 和 beta-VAE，且 DIP-VAE-II 在解耦与重构之间提供了更有利的平衡。
• SAP 分数与潜在遍历中的定性解耦相关性比 Z-diff 更高，后者可能会产生误导。
• DIP-VAE-I 在某些数据集上提供更高的 Z-diff 而重构损失很小，但可能将因子分散到不同的潜在变量中；DIP-VAE-II 通常提供更好的权衡。
• 在 CelebA 上，DIP-VAE 变体显示出与属性相关的潜在分离性提升以及在基于属性的评估任务中更高的 SNP 式表现。
• beta-VAE 在较高的 beta 值下往往降低重构质量，而 DIP-VAE 在提升解耦的同时保持了具有竞争力的重构。