[论文解读] Variational Inference In Pachinko Allocation Machines

Akash Srivastava, Charles Sutton|arXiv (Cornell University)|Apr 21, 2018

Topic Modeling参考文献 21被引用 6

一句话总结

本文提出了一种用于Pachinko Allocation Machines（aviPAM）的摊销变分推断方法，这是一种通过有向无环图（DAG）捕捉主题相关性的深度主题模型。通过使用深度神经网络作为推理网络来参数化后验分布，aviPAM在训练速度上比截断吉布斯采样快一个数量级，同时生成的主题一致性或相当，从而实现了此前难以研究的复杂PAM架构的探索。

ABSTRACT

The Pachinko Allocation Machine (PAM) is a deep topic model that allows representing rich correlation structures among topics by a directed acyclic graph over topics. Because of the flexibility of the model, however, approximate inference is very difficult. Perhaps for this reason, only a small number of potential PAM architectures have been explored in the literature. In this paper we present an efficient and flexible amortized variational inference method for PAM, using a deep inference network to parameterize the approximate posterior distribution in a manner similar to the variational autoencoder. Our inference method produces more coherent topics than state-of-art inference methods for PAM while being an order of magnitude faster, which allows exploration of a wider range of PAM architectures than have previously been studied.

研究动机与目标

• 为解决Pachinko Allocation Machines（PAMs）中近似推断的计算不可行性，该问题限制了对复杂模型架构的探索。
• 开发一种通用的、摊销化的PAM推断方法，避免为每种架构手动推导特定的算法。
• 通过利用GPU加速的变分推断，实现对更深、更复杂的PAM结构的高效训练。
• 分析并缓解结构化变分自编码器在主题建模中应用时的后验坍缩问题。

提出的方法

• 提出一种摊销变分推断框架（aviPAM），利用深度神经网络（推理网络）直接预测PAM中所有潜在变量的变分参数。
• 通过将观测过程建模为从DAG根节点到叶节点的路径追踪，将变分自编码器（VAE）范式适配到PAMs中。
• 提出一种新颖的结构化VAE架构，专为处理PAMs中复杂且高维的潜在空间而设计，其中每个词的生成路径均为潜在变量。
• 采用随机梯度下降配合Adam优化器，端到端训练推理网络，实现推理成本的完全摊销。
• 在主题建模背景下，应用归一化技术以缓解VAE中常见的后验坍缩问题。
• 使用PAM的混合模型（MoLDA）在多个粒度层级上建模分层主题结构，其各组件通过相同的推理框架进行训练。

实验结果

研究问题

• RQ1 摊销变分推断能否有效应用于具有复杂、结构化潜在空间的Pachinko Allocation Machines？
• RQ2 与截断吉布斯采样相比，所提出的推断方法是否能实现更快、更可扩展的PAM训练？
• RQ3 该方法能否生成质量更高的主题（以一致性衡量）优于现有推断基线？
• RQ4 该方法在多大程度上支持对更深、更复杂的PAM架构的探索？
• RQ5 基于归一化的技术在缓解结构化VAE用于主题建模时的后验坍缩问题方面有多有效？

主要发现

• aviPAM在NIPS数据集上的训练时间从超过15小时缩短至2小时以内，实现了数量级的速度提升。
• 尽管速度大幅提升，aviPAM生成的主题一致性与截断吉布斯采样及其他基线方法相比，保持相当或更优。
• 在20 Newsgroups数据集上，使用aviPAM训练的4-PAM和5-PAM模型在主题一致性方面优于所有LDA类模型。
• 通过aviPAM训练的PAM混合模型（MoLDA）成功捕捉了多层级粒度的分层主题结构。
• 观察到模型存在后验坍缩现象，但基于归一化的技术显著缓解了该问题，从而提升了主题质量。
• 该方法使训练包含10个超顶级主题、50个顶级主题和100个子主题的更大规模PAM模型成为可能，此前因计算成本过高而不可行。