[论文解读] SenGen: Sentence Generating Neural Variational Topic Model

Ramesh Nallapati, Igor Melnyk+2 more|arXiv (Cornell University)|Aug 1, 2017

Topic Modeling参考文献 13被引用 8

一句话总结

SenGen 提出了一种神经变分主题模型，该模型将主题分配给整个句子而非单个词语，通过基于句子级主题的 RNN 解码器生成连贯且可解释的句子。该模型采用 VAE 框架，对文档级主题混合和句子级主题分配分别使用变分编码器，从而更好地建模主题性语篇结构，并通过生成的句子提升主题可解释性。

ABSTRACT

We present a new topic model that generates documents by sampling a topic for one whole sentence at a time, and generating the words in the sentence using an RNN decoder that is conditioned on the topic of the sentence. We argue that this novel formalism will help us not only visualize and model the topical discourse structure in a document better, but also potentially lead to more interpretable topics since we can now illustrate topics by sampling representative sentences instead of bag of words or phrases. We present a variational auto-encoder approach for learning in which we use a factorized variational encoder that independently models the posterior over topical mixture vectors of documents using a feed-forward network, and the posterior over topic assignments to sentences using an RNN. Our preliminary experiments on two different datasets indicate early promise, but also expose many challenges that remain to be addressed.

研究动机与目标

• 通过为每个主题生成代表性句子而非依赖词袋表示，来提升主题的可解释性。
• 通过在句子级别分配主题来建模主题性语篇结构，捕捉主题漂移和句子间切换等现象。
• 通过显式建模句子级主题分配的后验分布，而非仅关注文档级混合，来扩展变分自编码用于主题建模的应用。
• 通过利用 RNN 建模受主题条件的句内词依赖关系，实现更连贯且语义有意义的文档生成。
• 解决现有基于 VAE 的主题模型的局限性，这些模型仅关注文档级后验分布，而忽略了局部主题分配的建模。

提出的方法

• 该模型通过首先从标准正态分布中采样文档级主题混合向量 θd，然后通过 θd 上的 softmax 函数为每个句子 s 分配一个主题 zₛ 来生成文档。
• 对于每个句子，使用基于学习的主题嵌入向量 EmbZ 的主题特定 GRU-RNN 解码器生成词语，以捕捉句内依赖关系。
• 采用因子化变分推断框架：前馈网络编码文档级主题混合的后验分布，而 RNN 编码器则建模句子级主题分配的后验分布。
• 模型使用重参数化梯度进行端到端训练，支持通过随机主题分配反向传播，以优化文档级和句子级后验分布。
• 解码器通过束搜索或从 RNN 的 softmax 输出进行贪婪采样生成序列，辅以注意力机制以处理高频词并提升连贯性。
• 该框架支持可视化句子间主题的转换，从而实现对文档中主题性语篇结构的分析。

实验结果

研究问题

• RQ1 与传统的词袋模型相比，将主题分配从词语级别提升到句子级别，是否能生成更具可解释性和连贯性的主题？
• RQ2 通过 RNN 编码器显式建模句子级主题后验分布，是否能提升生成文档的质量和连贯性？
• RQ3 基于主题嵌入的 RNN 解码器能否生成语法正确且语义有意义的句子，以准确反映主题内容？
• RQ4 在困惑度和主题可解释性方面，该模型与现有基于 VAE 的主题模型相比表现如何？
• RQ5 在训练此类高参数量模型时，会面临哪些挑战，特别是过拟合以及生成非信息性或重复序列的问题？

主要发现

• 通过束搜索生成的句子语法正确，但通常在几个时间步后变得重复且缺乏信息。
• 从 RNN 解码器进行随机采样会产生连贯性较差、语法错误的序列，但包含更多主题相关词语，表明流畅性与主题相关性之间存在权衡。
• 初步的定量结果显示困惑度高于基线模型，可能由于数据集预处理差异以及高参数量导致的模型过拟合。
• 该模型通过为每个主题生成代表性句子，显著提升了主题的可解释性，优于传统的词袋主题表示方法。
• 该框架支持可视化句子间主题的转换，为建模主题漂移、主题切换等主题性语篇现象提供了可行路径。
• 作者指出停用词和高频词是主要问题，建议未来工作应单独处理这些词，可能通过使用预训练的词袋模型进行初始化。