[论文解读] Semi-Supervised Generation with Cluster-aware Generative Models

Lars Maaløe, M. Fraccaro+1 more|arXiv (Cornell University)|Apr 3, 2017

Generative Adversarial Networks and Image Synthesis参考文献 25被引用 12

一句话总结

本文提出聚类感知生成模型（CaGeM），一种变分自编码器，利用无标签数据在深层潜在空间中学习结构化、聚类感知的表征，并利用有限的标签数据对这些聚类进行优化。该模型在排列不变的MNIST数据集上实现了−79.38纳特的最先进对数似然性能，并通过在高层显式聚类，提升了生成建模中变化因素的解耦能力。

ABSTRACT

Deep generative models trained with large amounts of unlabelled data have proven to be powerful within the domain of unsupervised learning. Many real life data sets contain a small amount of labelled data points, that are typically disregarded when training generative models. We propose the Cluster-aware Generative Model, that uses unlabelled information to infer a latent representation that models the natural clustering of the data, and additional labelled data points to refine this clustering. The generative performances of the model significantly improve when labelled information is exploited, obtaining a log-likelihood of -79.38 nats on permutation invariant MNIST, while also achieving competitive semi-supervised classification accuracies. The model can also be trained fully unsupervised, and still improve the log-likelihood performance with respect to related methods.

研究动机与目标

• 通过在无监督变分自编码器中引入有限标签数据，提升深度生成建模性能，同时避免过拟合。
• 通过在深层变分自编码器中促进高层随机层的激活，解决潜在层利用不足的问题，方法是通过结构化聚类。
• 实现在标签数据增强生成性能的半监督生成，其性能超越分类准确率。
• 通过引入离散潜在变量建模深层表征中的自然聚类，提升解耦性和生成质量。

提出的方法

• 在标准变分自编码器的顶层引入离散潜在变量，以建模数据表征中的自然聚类。
• 利用无标签数据通过离散变量推断聚类结构，形成聚类感知先验。
• 通过引入标签数据优化聚类分配，利用类别条件聚类提升生成建模性能。
• 采用重参数化梯度的变分推断方法优化证据下界（ELBO），实现端到端训练。
• 采用具有自底向上依赖关系的分层推理网络，近似后验分布。
• 采用两阶段训练策略，先在无标签数据上预训练，再用标签数据微调，以避免过拟合。

实验结果

研究问题

• RQ1 有限的标签数据是否能提升深度生成模型的生成性能，而不仅仅是分类准确率？
• RQ2 如何利用无标签数据将深层潜在表征组织为有意义的聚类？
• RQ3 在变分自编码器顶层引入离散潜在变量，是否能提升深层随机层的激活与实用性？
• RQ4 聚类感知表征学习是否能带来更好的对数似然与解耦性能？
• RQ5 单一模型能否在半监督生成与半监督分类任务中均实现竞争力表现？

主要发现

• CaGeM在排列不变的MNIST数据集上实现了−79.38纳特的对数似然性能，创下半监督生成模型的新SOTA记录。
• 通过同时利用无标签和标签数据，该模型在OMNIGLOT数据集上的对数似然性能优于同类变分自编码器模型。
• 即使在完全无监督训练下，CaGeM的对数似然性能仍优于基线变分自编码器，表明其表征学习能力得到提升。
• 在顶层引入离散潜在变量显著减轻了对深层随机层的剪枝效应，从而支持更优的特征抽象。
• 该模型在半监督分类任务中也取得了具有竞争力的准确率，展现出在生成与分类任务中的双重优势。
• 标签数据优化了潜在空间中的聚类结构，使表征更具解耦性与语义意义。