[论文解读] Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network

Zhibin Duan, Wang, Dongsheng+6 more|arXiv (Cornell University)|Jun 30, 2021

Topic Modeling被引用 10

一句话总结

本文提出了一种基于锯齿因子分解结构的深度神经主题模型——Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network（SawETM），通过在各层之间共享主题和词嵌入，捕捉层次化主题依赖关系。通过整合跳跃连接的推理网络与变分自编码机制，SawETM在文档表征学习、主题可解释性以及聚类任务中均达到当前最优性能，并在高达15层的深层架构中展现出显著成效。

ABSTRACT

Hierarchical topic models such as the gamma belief network (GBN) have delivered promising results in mining multi-layer document representations and discovering interpretable topic taxonomies. However, they often assume in the prior that the topics at each layer are independently drawn from the Dirichlet distribution, ignoring the dependencies between the topics both at the same layer and across different layers. To relax this assumption, we propose sawtooth factorial topic embedding guided GBN, a deep generative model of documents that captures the dependencies and semantic similarities between the topics in the embedding space. Specifically, both the words and topics are represented as embedding vectors of the same dimension. The topic matrix at a layer is factorized into the product of a factor loading matrix and a topic embedding matrix, the transpose of which is set as the factor loading matrix of the layer above. Repeating this particular type of factorization, which shares components between adjacent layers, leads to a structure referred to as sawtooth factorization. An auto-encoding variational inference network is constructed to optimize the model parameter via stochastic gradient descent. Experiments on big corpora show that our models outperform other neural topic models on extracting deeper interpretable topics and deriving better document representations.

研究动机与目标

• 解决现有层次化主题模型在各层之间假设主题独立性所带来的局限性。
• 通过在共享嵌入空间中建模主题之间的语义相似性与依赖关系，提升文档表征学习效果。
• 通过变分推理框架，实现深度、可扩展且可解释的主题建模，支持高达15层的网络结构。
• 通过设计跳跃连接的推理网络，缓解深度变分自编码器中的组件坍缩问题，实现更优的后验近似。

提出的方法

• SawETM在统一的潜在空间中将词与主题表示为共享维度的嵌入向量。
• 采用锯齿因子分解机制：第l层的主题矩阵被分解为因子载荷矩阵与主题嵌入矩阵，且第l层的主题嵌入矩阵的转置被用作第l+1层的因子载荷矩阵。
• 模型采用深度层次化变分自编码器，包含一条确定性的跳跃连接上行路径与一条随机路径，以近似潜在变量的后验分布。
• 通过基于随机梯度下降的优化方法，利用自编码变分推理网络训练模型参数。
• 通过定制化的训练策略，缓解后验坍缩问题，使模型能够支持深层架构（如15层）。
• 通过t-SNE可视化联合学习的词嵌入与主题嵌入，验证语义连贯性与层次结构。

实验结果

研究问题

• RQ1 深度神经主题模型能否有效捕捉多层之间主题的语义依赖关系？
• RQ2 与独立主题先验相比，锯齿因子分解机制在提升主题连贯性与层次结构学习方面有何优势？
• RQ3 共享的词-主题嵌入在多大程度上能提升文档表征质量与下游聚类性能？
• RQ4 深度变分主题模型能否避免后验坍缩，并在极端深度（如15层）下保持性能？
• RQ5 在真实语料中，模型生成的层次化主题及其关联关系在可解释性方面表现如何？

主要发现

• 在R8数据集上，SawETM实现了最高的归一化互信息（NMI）45.90与准确率（AC）63.82，显著优于所有基线模型，包括DNTM、DETM与WHAI。
• 在20NG数据集上，SawETM取得NMI 50.77与AC 63.82，展现出卓越的文档聚类性能。
• 模型降低了困惑度，并提升了主题可解释性，t-SNE可视化显示同一主题的词聚集在一起，子主题间表现出语义相似性。
• 可视化结果证实，学习到的主题嵌入与层次化连接具有语义意义，即使在15层深度下仍能清晰识别出连贯的主题层次结构。
• 跳跃连接的推理网络有效缓解了后验坍缩问题，实现了深层架构中稳定训练与高质量表征学习。
• SawETM成功在共享空间中学习到共享的词与主题嵌入，支持联合语义分析，显著提升了模型可解释性。