[论文解读] Ordering-sensitive and Semantic-aware Topic Modeling

Min Yang, Tianyi Cui+1 more|arXiv (Cornell University)|Feb 12, 2015

Topic Modeling参考文献 33被引用 5

一句话总结

本文提出高斯混合神经主题模型（GMNTM），一种新颖的主题建模方法，通过高斯混合模型联合学习词、句子和文档表征，以捕捉词序与语义含义。通过将上下文词嵌入与主题建模相结合，GMNTM 在困惑度、检索准确率和文档分类方面显著优于最先进方法，在 20 Newsgroups 数据集上达到 73.1% 的准确率，在 RCV1-v2 数据集上达到 0.445 的平均平均精度（128 个主题）。

ABSTRACT

Topic modeling of textual corpora is an important and challenging problem. In most previous work, the "bag-of-words" assumption is usually made which ignores the ordering of words. This assumption simplifies the computation, but it unrealistically loses the ordering information and the semantic of words in the context. In this paper, we present a Gaussian Mixture Neural Topic Model (GMNTM) which incorporates both the ordering of words and the semantic meaning of sentences into topic modeling. Specifically, we represent each topic as a cluster of multi-dimensional vectors and embed the corpus into a collection of vectors generated by the Gaussian mixture model. Each word is affected not only by its topic, but also by the embedding vector of its surrounding words and the context. The Gaussian mixture components and the topic of documents, sentences and words can be learnt jointly. Extensive experiments show that our model can learn better topics and more accurate word distributions for each topic. Quantitatively, comparing to state-of-the-art topic modeling approaches, GMNTM obtains significantly better performance in terms of perplexity, retrieval accuracy and classification accuracy.

研究动机与目标

• 解决传统主题模型依赖词袋假设的局限性，后者忽略词序与语义上下文。
• 开发一种能联合学习主题分布与密集向量表征的主题模型，以捕捉语义相似性与序列上下文。
• 通过不仅基于共现，还基于语义与位置上下文建模词语，提升主题一致性与消歧能力。
• 通过更准确且可解释的主题表征，提升下游 NLP 任务（如文档分类与信息检索）的效果。

提出的方法

• 该模型将每个主题表示为高斯混合模型（GMM）的一个分量，其中每个分量对应一个多维向量聚类。
• 词、句子与文档嵌入与主题分配通过神经网络联合学习，该网络基于上下文与主题预测词语。
• 模型强制要求词嵌入从 GMM 分量中采样，确保语义相似的词语被分入同一主题。
• 采用分层结构建模上下文：每个词语的表征受其周围词语及整体文档或句子上下文的影响。
• 学习目标结合交叉熵损失用于词语预测与正则化似然，以促进主题一致性与聚类紧凑性。
• 模型使用随机梯度下降端到端训练，实现主题分配与向量表征的联合优化。

实验结果

研究问题

• RQ1 主题模型能否在保留词序与上下文的同时，联合学习语义词嵌入与主题分配？
• RQ2 与词袋模型相比，整合序列与语义上下文在多大程度上改善了主题一致性与消歧能力？
• RQ3 GMNTM 模型在困惑度、检索准确率与分类性能方面，相较于最先进主题模型的优越程度如何？
• RQ4 当词语（如 'teacher' 与 'teach'）共现频率不高时，模型能否有效将语义相关词语分入同一主题？
• RQ5 与 LDA 及其他神经主题模型相比，该模型是否产生更具可解释性与语义意义的主题？

主要发现

• 在 20 Newsgroups 数据集上，GMNTM 达到 73.1% 的分类准确率，显著优于次佳模型（Over-Replicated Softmax 模型的 66.8%）。
• 在 RCV1-v2 数据集上，GMNTM 达到 0.445 的平均平均精度，超过 Over-Replicated Softmax 模型的 0.401。
• 与最先进方法相比，该模型更有效地降低困惑度，表明其语言建模与主题表征能力更优。
• 定性分析表明，GMNTM 成功将语义相关词语（如 'Christ' 与 'Christian'）聚类至同一主题，而 LDA 常将其分配至不同主题。
• 该模型产生更具可解释性的主题，避免了 LDA 主题中常见的无信息停用词（如 'would', 'accept'）的出现。
• GMNTM 在文档检索与分类任务中表现更优，证实整合词序与语义可显著提升主题建模的有效性。