[论文解读] Sentence Level Recurrent Topic Model: Letting Topics Speak for Themselves

Fei Tian, Bin Gao+2 more|arXiv (Cornell University)|Apr 7, 2016

Topic Modeling参考文献 34被引用 14

一句话总结

本文提出了一种新型主题模型——句子级循环主题模型（SLRTM），该模型利用长短期记忆网络（LSTM）或门控循环单元（GRU）等循环神经网络（RNN），同时建模句子内部的词序依赖关系与主题一致性。通过将词的生成条件同时依赖于前面所有词的完整历史和句子级主题表征，SLRTM 在文档建模方面优于强基线模型，并支持从主题生成句子，从而可应用于个性化短文本对话等场景。

ABSTRACT

We propose Sentence Level Recurrent Topic Model (SLRTM), a new topic model that assumes the generation of each word within a sentence to depend on both the topic of the sentence and the whole history of its preceding words in the sentence. Different from conventional topic models that largely ignore the sequential order of words or their topic coherence, SLRTM gives full characterization to them by using a Recurrent Neural Networks (RNN) based framework. Experimental results have shown that SLRTM outperforms several strong baselines on various tasks. Furthermore, SLRTM can automatically generate sentences given a topic (i.e., topics to sentences), which is a key technology for real world applications such as personalized short text conversation.

研究动机与目标

• 解决传统主题模型忽略句子内部词序与主题一致性的局限性。
• 比固定窗口或马尔可夫方法更有效地建模句子中的序列依赖关系。
• 支持从主题生成句子（topic2sentence），以应用于个性化短文本对话等场景。
• 通过引入长期序列依赖与主题感知依赖，提升文档分类与生成建模的性能。

提出的方法

• SLRTM将句子中词的生成建模为同时依赖于前面所有词的完整历史和句子的主题表征。
• 采用RNN（如LSTM或GRU）编码词的序列上下文，以捕捉长期依赖关系。
• 将句子主题视为具有分布式表征的伪词，在句子中所有词之间共享，以确保主题一致性。
• 通过结合RNN隐藏状态与句子主题嵌入，建模词生成的条件概率。
• 在包含句末标记（EOS）的句子语料上，采用最大似然估计进行端到端训练。
• 通过从学习到的模型分布中进行随机采样或束搜索（beam search），实现从主题到句子的生成。

实验结果

研究问题

• RQ1 主题模型能否在保持主题一致性的同时，有效捕捉句子内部的序列依赖关系？
• RQ2 与传统的词袋模型相比，引入基于RNN的序列建模在文档生成与分类性能上能带来多大提升？
• RQ3 SLRTM在多大程度上能够从给定主题生成语义连贯且主题敏感的句子？
• RQ4 SLRTM能否有效用于生成自然流畅的句子，以支持个性化对话系统？

主要发现

• SLRTM在测试集困惑度上优于强基线模型，表明其具备更优的文档建模能力。
• 模型在文档分类任务中表现更优，表明其学习到的表征更具判别性。
• 定性分析显示，通过随机采样与束搜索生成的句子在语义上与对应主题高度一致。
• 随机采样生成的句子更具多样性，但有时语法不正确；束搜索生成的句子语法更安全，但多样性较低。
• 模型成功生成了与推断主题相关的关键词（如“elections”、“parliament”、“film”、“bishop”），与主题高度匹配。
• SLRTM实现了从主题到句子的生成，展示了其在个性化短文本对话系统等实际应用中的潜力。