[论文解读] The LORACs prior for VAEs: Letting the Trees Speak for the Data

Sharad Vikram, Matthew D. Hoffman+1 more|arXiv (Cornell University)|Oct 16, 2018

Generative Adversarial Networks and Image Synthesis参考文献 18被引用 4

一句话总结

本文提出LORACs先验，一种基于时间边际共沉淀过程（TMC）的贝叶斯非参数层次聚类先验，以提升变分自编码器（VAEs）的可解释性与性能。通过在潜在空间中建模树状依赖结构，该方法学习到更具意义、离散且层次化的数据因子分解，尽管边际似然得分中等，但在下游分类与检索任务中显著优于标准先验。

ABSTRACT

In variational autoencoders, the prior on the latent codes $z$ is often treated as an afterthought, but the prior shapes the kind of latent representation that the model learns. If the goal is to learn a representation that is interpretable and useful, then the prior should reflect the ways in which the high-level factors that describe the data vary. The "default" prior is an isotropic normal, but if the natural factors of variation in the dataset exhibit discrete structure or are not independent, then the isotropic-normal prior will actually encourage learning representations that mask this structure. To alleviate this problem, we propose using a flexible Bayesian nonparametric hierarchical clustering prior based on the time-marginalized coalescent (TMC). To scale learning to large datasets, we develop a new inducing-point approximation and inference algorithm. We then apply the method without supervision to several datasets and examine the interpretability and practical performance of the inferred hierarchies and learned latent space.

研究动机与目标

• 为解决VAE中各向同性正态先验的局限性，其会掩盖数据中离散且依赖的结构。
• 开发一种可扩展的非参数先验，以捕捉高维数据中的层次聚类结构。
• 实现可解释的、结构化的潜在表征，反映数据中自然的因子变化。
• 通过学习更具意义的潜在几何结构，提升下游分类与检索任务的性能。

提出的方法

• 提出时间边际共沉淀过程（TMC）作为潜在空间中层次树结构的灵活且可解释的先验。
• 引入诱导点近似方法，将TMC先验扩展至大规模数据集，支持小批量推理。
• 将TMC先验与VAE框架结合，支持带有层次先验的深度生成模型端到端训练。
• 采用具有树状结构方差的高斯似然，使潜在距离与层次聚类结构对齐。
• 使用含1000个样本的重要性加权自编码器（IWAE）估计保留数据的对数似然，用于模型比较。
• 采用变分推理框架，实现对树结构与潜在码的归纳推理。

实验结果

研究问题

• RQ1 与标准各向同性正态先验相比，非参数层次先验是否能提升VAE学习的潜在表征的可解释性？
• RQ2 LORACs先验在保持潜在空间中层次结构的前提下，能否有效扩展至大规模数据集？
• RQ3 树状结构先验是否能提升下游任务（如少样本分类与信息检索）的性能？
• RQ4 LORACs先验在多大程度上能捕捉数据中的离散、依赖的因子变化，例如人脸数据集中的性别与胡须特征？
• RQ5 下游任务性能的提升是否与更高的保留对数似然相关，还是源于更好的结构归纳偏置？

主要发现

• 在MNIST与Omniglot数据集的信息检索任务中，LORACs先验在精确率-召回率曲线下面积（AUC）上均表现最佳，MNIST的AUC为0.626，Omniglot的AUC为0.087。
• 在少样本分类任务中，LORACs始终优于其他先验，尤其在Omniglot数据集上，低标签数量下的准确率显著更高。
• TSNE可视化显示，LORACs学习到的聚类比正态先验与VampPrior更集中、更分离，表明其聚类结构更优。
• 尽管在下游任务中表现优于其他先验，LORACs先验的保留对数似然得分仅为中等水平，表明似然性并非表征质量的可靠代理指标。
• 对诱导点的手动标注显示，LORACs的表征在主动学习中更具实用性，使用更少标注样本即可获得更高准确率。
• 通过诱导点近似方法，该方法展现出良好的可扩展性，可在大规模数据集上训练，同时保持结构保真度。