[论文解读] On a Topic Model for Sentences

Georgios Balikas, Massih-Reza Amini+1 more|arXiv (Cornell University)|Jun 1, 2016

Topic Modeling参考文献 7被引用 5

一句话总结

本文提出 sentenceLDA，这是潜在狄利克雷分配（LDA）的一种扩展，通过在连贯文本片段内强制执行主题一致性，实现以句子为单位建模主题。通过将句子级结构融入生成过程，sentenceLDA 实现了显著更快的收敛速度——在复杂数据集上最快可达 12 倍——同时在困惑度和文本分类性能方面均有提升，尤其在更大的训练集上表现更优。

ABSTRACT

Probabilistic topic models are generative models that describe the content of documents by discovering the latent topics underlying them. However, the structure of the textual input, and for instance the grouping of words in coherent text spans such as sentences, contains much information which is generally lost with these models. In this paper, we propose sentenceLDA, an extension of LDA whose goal is to overcome this limitation by incorporating the structure of the text in the generative and inference processes. We illustrate the advantages of sentenceLDA by comparing it with LDA using both intrinsic (perplexity) and extrinsic (text classification) evaluation tasks on different text collections.

研究动机与目标

• 为了解决标准主题模型（如 LDA）的局限性，这些模型将文档视为词袋，忽略了句子级别的连贯性。
• 将连贯文本片段（如句子）的结构信息整合到主题建模中，以改善主题发现与表征。
• 开发一种生成模型，通过在句子级别内强制执行主题一致性，从而反映文本的自然语言结构。
• 使用内在（困惑度）和外在（文本分类）基准在多种文本集合上评估所提出的模型。
• 证明以句子级别建模主题可为下游任务提供更高效且更有效的文档表征。

提出的方法

• 通过在图形模型中引入一个新的板（plate）来表示连贯文本片段（如句子）作为主题分配的单位，扩展了 LDA。
• 修改生成过程，使句子中的所有词语共享相同的主题分布，从而在句子级片段内强制执行主题一致性。
• 推导出一种截断吉布斯采样器进行推断，其条件概率考虑了句子段落内的主题分配。
• 使用多维β函数（狄利克雷-多项分布共轭先验）来计算主题-词和文档-主题后验概率。
• 将该模型应用于 Wikipedia 和 PubMed 数据集，采用内在和外在评估协议。
• 通过拼接 LDA 和 sentenceLDA 的输出表示，探索在分类任务中二者互补的优势。

实验结果

研究问题

• RQ1 以句子级别建模主题是否能相比标准 LDA 提升主题模型的性能？
• RQ2 在推理过程中，强制句子内主题一致性是否能带来更快的收敛速度？
• RQ3 句子级别主题建模如何影响内在评估指标（如困惑度）？
• RQ4 sentenceLDA 在文本分类任务中的外在性能提升程度如何？
• RQ5 将 LDA 和 sentenceLDA 的表示进行组合，是否能获得优于单独使用任一模型的分类结果？

主要发现

• 在 PubMed 数据集上，sentenceLDA 的收敛速度比 LDA 快超过 8 倍，仅需 332 秒即可完成 25 次迭代，而 LDA 需要 2770 秒。
• 在 WikiTrain2 数据集上，sentenceLDA 仅用 332 秒（25 次迭代）即实现收敛，而 LDA 需要超过 160 次迭代，表现出 30% 的速度提升。
• 在文本分类任务中，sentenceLDA 的 F1 分数优于 LDA，且随着训练集规模增大，性能增益更加显著。
• LDA 和 sentenceLDA 输出表示的拼接形式（记为 'senLDA+'）实现了最佳分类性能，兼具快速收敛与高准确率。
• sentenceLDA 的快速收敛归因于句子级别主题一致性带来的更强结构约束，从而提升了推断效率。
• 困惑度与分类结果一致表明 sentenceLDA 更优，证实句子级别建模能够捕捉到更具信息量和判别性的文档表征。