[论文解读] Topic2Vec: Learning Distributed Representations of Topics

Liqiang Niu, Xinyu Dai|arXiv (Cornell University)|Jun 28, 2015

Topic Modeling参考文献 34被引用 29

一句话总结

本文提出 Topic2Vec，一种基于改进的 Word2Vec 框架的方法，可在与词语相同的语义空间中学习密集的主题向量表示。通过在训练过程中将主题作为额外上下文引入，Topic2Vec 所生成的主题表示相比 LDA 更具语义意义且更具区分性，如 t-SNE 可视化和最近邻词分析所示，其在词语聚类和主题区分方面均有提升。

ABSTRACT

Latent Dirichlet Allocation (LDA) mining thematic structure of documents plays an important role in nature language processing and machine learning areas. However, the probability distribution from LDA only describes the statistical relationship of occurrences in the corpus and usually in practice, probability is not the best choice for feature representations. Recently, embedding methods have been proposed to represent words and documents by learning essential concepts and representations, such as Word2Vec and Doc2Vec. The embedded representations have shown more effectiveness than LDA-style representations in many tasks. In this paper, we propose the Topic2Vec approach which can learn topic representations in the same semantic vector space with words, as an alternative to probability. The experimental results show that Topic2Vec achieves interesting and meaningful results.

研究动机与目标

• 为解决 LDA 在捕捉主题之间语义关系方面的局限性，即概率分布倾向于高频词而掩盖了有意义的区分。
• 探索是否可将主题表示嵌入与词语相同的语义向量空间中，以实现更丰富的语义建模。
• 开发一种方法，通过利用向量相似性而非概率共现关系，生成比 LDA 更具代表性与区分度的主题聚类。
• 通过最近邻词分析（qualitative analysis）和主题相关词嵌入的 t-SNE 可视化（visualization）对 Topic2Vec 与 LDA 进行评估。

提出的方法

• Topic2Vec 通过在训练过程中引入主题向量作为额外上下文，扩展了 Word2Vec 的 Skip-gram 模型，其中每个词语均关联一个主题标签。
• 该模型通过最大化给定上下文词语及其相关主题时预测目标词语的可能性，联合学习词语和主题的嵌入表示。
• 采用负采样进行高效优化，与 Word2Vec 类似，可实现与语料规模线性扩展。
• 通过随机梯度下降和反向传播更新主题表示，使用余弦相似度衡量词语与主题的相关性。
• 该框架支持 CBOW 和 Skip-gram 两种变体，实验中采用 Skip-gram 以获得更优性能。
• Topic2Vec 需要预先通过 LDA 推断为词语分配主题标签，这些标签随后在训练中作为上下文使用。

实验结果

研究问题

• RQ1 能否有效将主题表示嵌入与词语相同的向量空间中，以超越概率主题模型实现更优的语义建模？
• RQ2 Topic2Vec 的主题表示与 LDA 基于概率的表示相比，在词语相关性和主题区分度方面表现如何？
• RQ3 使用向量相似性（如余弦相似度）是否能生成比 LDA 的关键词选择更具代表性与区分度的主题聚类？
• RQ4 与 LDA 相比，t-SNE 可视化是否能揭示 Topic2Vec 更好的主题分离与词语分组？
• RQ5 Topic2Vec 在多大程度上保留了相似主题之间的语义区分，例如与医疗治疗相关的主题与制药主题之间？

主要发现

• Topic2Vec 有效学习了与词语处于同一语义向量空间中的主题表示，使得可通过余弦相似度直接比较主题与词语之间的语义关系。
• 对于 Topic_19，Topic2Vec 检索到如 'aricept' 和 'memantine' 等特定药物相关术语，而 LDA 仅返回 'drug' 和 'cancer' 等通用术语，表明其具有更高的特异性。
• 对于 Topic_27，Topic2Vec 识别出 'anesthesiologists' 和 'comatose' 等精确医学术语，而 LDA 返回 'medical' 和 'hospital' 等宽泛术语，显示出更优的主题区分能力。
• t-SNE 可视化显示，Topic2Vec 生成了更清晰分离且更一致的每主题词语聚类，而 LDA 展现出主题间重叠与混合的分组。
• 在最近邻词分析中，Topic2Vec 对每个主题均持续选择更具语义代表性与上下文相关性的词语，优于 LDA 基于概率的关键词选择。
• 结果表明，通过 Topic2Vec 实现的基于向量的主题表示，相较于传统的 LDA 概率分布，能提供更具意义且更清晰的主题建模。