[论文解读] Variational Deep Embedding: A Generative Approach to Clustering.

Zhuxi Jiang, Yin Zheng+3 more|arXiv (Cornell University)|Nov 16, 2016

Generative Adversarial Networks and Image Synthesis参考文献 31被引用 35

一句话总结

VaDE 提出了一种基于变分自编码器的生成聚类方法，通过在潜在嵌入上使用高斯混合模型（GMM）来建模数据生成过程，随后通过深度神经网络进行解码。通过使用随机梯度变分贝叶斯（SGVB）和重参数化技巧优化证据下界（ELBO），VaDE 在四个不同基准上实现了最先进的聚类性能，并且无需任何监督即可生成具有特定聚类特征的逼真样本。

ABSTRACT

Clustering is among the most fundamental tasks in computer vision and machine learning. In this paper, we propose Variational Deep Embedding (VaDE), a novel unsupervised generative clustering approach within the framework of Variational Auto-Encoder (VAE). Specifically, VaDE models the data generative procedure with a Gaussian Mixture Model (GMM) and a deep neural network (DNN): 1) the GMM picks a cluster; 2) from which a latent embedding is generated; 3) then the DNN decodes the latent embedding into observables. Inference in VaDE is done in a variational way: a different DNN is used to encode observables to latent embeddings, so that the evidence lower bound (ELBO) can be optimized using Stochastic Gradient Variational Bayes (SGVB) estimator and the reparameterization trick. Quantitative comparisons with strong baselines are included in this paper, and experimental results show that VaDE significantly outperforms the state-of-the-art clustering methods on 4 benchmarks from various modalities. Moreover, by VaDE's generative nature, we show its capability of generating highly realistic samples for any specified cluster, without using supervised information during training. Lastly, VaDE is a flexible and extensible framework for unsupervised generative clustering, more general mixture models than GMM can be easily plugged in.

研究动机与目标

• 开发一种统一的深度生成模型，将聚类与表征学习整合到变分自编码器框架中。
• 通过在潜在变量上使用高斯混合模型（GMM）来建模数据生成过程，实现在生成过程中显式地进行聚类分配。
• 通过使用重参数化技巧和SGVB估计器进行变分推断，实现端到端的可训练性，以实现可扩展的优化。
• 在多种数据模态上，相比现有最先进方法，实现更优越的聚类性能。
• 在训练过程中无需任何标注数据，即可实现无条件、高保真度的、基于特定聚类的样本生成。

提出的方法

• VaDE 将数据生成建模为两阶段过程：首先，GMM 选择一个聚类；其次，深度神经网络将潜在嵌入解码为可观测数据。
• 该模型采用变分推断框架，其中一个独立的深度编码器将输入数据映射到潜在嵌入，从而实现对证据下界（ELBO）的优化。
• 使用带有重参数化技巧的随机梯度变分贝叶斯（SGVB）方法，以反向传播梯度通过随机潜在变量。
• 通过小批量随机梯度下降优化ELBO目标，从而实现在大规模数据集上的可扩展训练。
• 该框架具有可扩展性，允许将GMM替换为更通用的混合模型，以增强建模灵活性。
• 在推理阶段，训练好的编码器生成潜在码，解码器则基于选定的聚类生成样本。

实验结果

研究问题

• RQ1 通过GMM显式建模聚类分配的深度生成模型，是否能相比现有方法实现更优越的聚类性能？
• RQ2 带有重参数化技巧的变分推断框架，在多大程度上能够有效实现深度聚类模型的端到端训练？
• RQ3 VaDE 是否能在训练过程中不使用任何标注数据的情况下，为任意指定聚类生成逼真且高保真度的样本？
• RQ4 VaDE 框架在不同数据模态和聚类任务上的泛化能力如何？
• RQ5 该模型是否可以扩展为使用超越高斯混合模型的更灵活的混合模型？

主要发现

• VaDE 在涵盖不同数据模态的四个多样化基准上，显著优于现有的最先进聚类方法。
• 该模型实现了最先进的聚类性能，展示了在所有评估数据集上均具备更高的准确性和鲁棒性。
• VaDE 能够为任意指定聚类生成高质量、逼真的样本，即使在训练过程中未使用任何监督信号。
• VaDE 的生成能力直接源于其通过GMM显式建模特定聚类数据生成过程。
• 该框架具有灵活性和可扩展性，允许集成超越GMM的更通用混合模型，以增强建模能力。
• 使用重参数化技巧和SGVB能够实现深度生成设置中ELBO目标的稳定且高效的优化。