[论文解读] Nonparametric Variational Auto-encoders for Hierarchical Representation Learning

Prasoon Goyal, Zhiting Hu+3 more|arXiv (Cornell University)|Mar 21, 2017

Generative Adversarial Networks and Image Synthesis参考文献 17被引用 39

一句话总结

本文提出了一种分层非参数变分自编码器（VAE-nCRP），将树状结构的贝叶斯非参数先验（特别是嵌套中国餐馆过程，nCRP）与深度神经网络相结合，以在潜在空间中学习灵活且可解释的分层表征。通过针对变分推断进行定制化优化，联合学习 VAE 参数与 nCRP 树结构，该模型能够发现丰富且由数据驱动的语义概念分层结构，在视频分类与检索任务中实现了最先进性能，显著提升了聚类准确率与泛化能力。

ABSTRACT

The recently developed variational autoencoders (VAEs) have proved to be an effective confluence of the rich representational power of neural networks with Bayesian methods. However, most work on VAEs use a rather simple prior over the latent variables such as standard normal distribution, thereby restricting its applications to relatively simple phenomena. In this work, we propose hierarchical nonparametric variational autoencoders, which combines tree-structured Bayesian nonparametric priors with VAEs, to enable infinite flexibility of the latent representation space. Both the neural parameters and Bayesian priors are learned jointly using tailored variational inference. The resulting model induces a hierarchical structure of latent semantic concepts underlying the data corpus, and infers accurate representations of data instances. We apply our model in video representation learning. Our method is able to discover highly interpretable activity hierarchies, and obtain improved clustering accuracy and generalization capacity based on the learned rich representations.

研究动机与目标

• 为解决标准 VAE 中固定参数先验的局限性，后者限制了表征能力且无法捕捉复杂分层数据结构。
• 实现无需预设聚类数量或层级数的、自动且由数据驱动的潜在空间中深层分叉语义概念层次结构的发现。
• 统一深度神经网络与贝叶斯非参数先验，实现模型参数与结构先验的端到端联合学习。
• 通过引入分层结构学习更丰富、更具泛化能力的表征，从而提升视频分类与检索等下游任务的性能。
• 提供一种可解释的无监督框架，用于将视频数据组织为有意义的语义层次结构。

提出的方法

• 采用嵌套中国餐馆过程（nCRP）作为潜在空间上的非参数先验，以支持无限深度与分叉的分层结构。
• 将 nCRP 先验与基于深度神经网络的 VAE 相结合，通过变分推断实现编码器/解码器权重与树结构的联合优化。
• 使用定制化的分裂-合并 MCMC 过程在训练期间探索无界树空间，支持层次结构的动态增长。
• 为每个数据实例分配树上的路径分布，从而诱导实例特定的先验，以正则化潜在码的学习。
• 通过将每个视频建模为多条路径的混合，将模型应用于视频数据，其中帧被嵌入潜在空间，并根据语义相似度分配至相应路径。
• 推导出联合估计神经网络参数与 nCRP 参数的变分推断更新，实现模型容量的自校准。

实验结果

研究问题

• RQ1 非参数先验（如 nCRP）能否被有效整合进深度 VAE 中，以在不固定潜在组件数量的前提下学习分层表征？
• RQ2 联合学习神经网络参数与贝叶斯非参数先验是否能带来比固定参数先验更优的表征质量与泛化能力？
• RQ3 该模型能否在复杂序列数据（如视频）中发现可解释的多级语义层次结构？
• RQ4 与采用参数先验的 VAE 相比，该模型在视频分类与检索等下游任务中的表现如何？
• RQ5 该模型的非参数特性在多大程度上使其能够泛化到未见数据并形成新聚类？

主要发现

• 在 TRECVID MED 2011 数据集上，VAE-nCRP 实现了最高的整体分类准确率（42.4%），优于 K-means（32.4%）与 VAE-GMM（38.5%）。
• 在视频检索任务中，VAE-nCRP 在所有类别中均取得最高的 F-1 分数（42.4%），在关键类别（如 Fishing，59.9%）与 Getting_a_vehicle_unstuck（56.9%）上显著优于基线模型。
• 该模型发现了高度可解释的层次结构，例如将与车辆相关的活动归类为更广泛的类别，并进一步细分为子类型（如自行车维修与汽车轮毂维修）。
• 定性分析表明，所学层次结构捕捉了有意义的语义抽象：高层节点代表抽象概念，低层节点则捕捉具体、具体的活动。
• 模型在测试集重建任务中表现出更好的泛化能力，表明分层结构提升了对数据变化的鲁棒性与不变性。
• 联合优化框架成功学习了神经参数与树状先验结构，使模型能够根据数据复杂度自动调整容量，而无需人工调参。