[论文解读] Syntactic Topic Models

Jordan Boyd‐Graber, David M. Blei|arXiv (Cornell University)|Feb 25, 2010

Topic Modeling参考文献 23被引用 155

一句话总结

语法主题模型（STM）是一种贝叶斯非参数模型，通过结合文档级主题分布与依存句法树结构，联合推断语义主题和句法结构。通过将文档级主题连贯性与局部句法上下文进行卷积，STM 在纯主题模型或纯句法模型的基础上实现了更低的困惑度，展示了在合成数据和真实世界数据上均更优的预测性能。

ABSTRACT

The syntactic topic model (STM) is a Bayesian nonparametric model of language that discovers latent distributions of words (topics) that are both semantically and syntactically coherent. The STM models dependency parsed corpora where sentences are grouped into documents. It assumes that each word is drawn from a latent topic chosen by combining document-level features and the local syntactic context. Each document has a distribution over latent topics, as in topic models, which provides the semantic consistency. Each element in the dependency parse tree also has a distribution over the topics of its children, as in latent-state syntax models, which provides the syntactic consistency. These distributions are convolved so that the topic of each word is likely under both its document and syntactic context. We derive a fast posterior inference algorithm based on variational methods. We report qualitative and quantitative studies on both synthetic data and hand-parsed documents. We show that the STM is a more predictive model of language than current models based only on syntax or only on topics.

研究动机与目标

• 开发一种概率模型，同时捕捉语言中的主题性（文档级）与句法性（句子级）规律。
• 解决现有模型仅关注句法或主题的局限性，从而实现对词语使用的更优预测。
• 构建一个统一框架，使主题分配同时受全局文档上下文与依存树中局部句法角色的影响。
• 通过变分推断方法整合结构化与主题化线索，提升语言建模性能。

提出的方法

• STM 将每个词建模为从通过文档级主题分布与依存句法树中的句法上下文卷积选择的潜在主题生成。
• 每篇文档具有主题上的多项分布，以确保文档内部的主题连贯性。
• 依存句法树中的每个节点对其子节点具有主题分布，以在局部短语结构中强制实现句法一致性。
• 模型使用层次狄利克雷过程（HDP）先验，允许无限多主题，从而实现非参数推断。
• 采用变分推断近似主题后验分布，使大规模语料的可扩展训练成为可能。
• 通过加权卷积结合两种信息源，使主题分配对主题相关性与句法合理性均保持敏感。

实验结果

研究问题

• RQ1 单一概率模型能否有效整合语言中的主题性与句法性规律，以提升预测性能？
• RQ2 将文档级主题分布与局部句法结构结合，如何在语言建模中超越仅使用单一信息源的模型？
• RQ3 统一模型在捕捉不同词类（如名词、动词、介词、限定词）的词语模式方面，能在多大程度上优于专用主题模型（如 HDP）或句法模型（如无限树）？
• RQ4 句法与主题线索的整合是否能带来更连贯且可解释的主题，特别是在真实世界文本语料中？
• RQ5 该模型能否泛化到未见文档，并实现比基线模型更低的困惑度？

主要发现

• 在真实世界数据上，STM 的困惑度低于层次狄利克雷过程（HDP）和无限树模型，展示了更优的预测性能。
• 在合成数据上，STM 在内容词（名词、动词）上优于 HDP，在功能词（介词、限定词）上优于无限树模型，表明其在各类词类上均具备均衡优势。
• 对于名词和动词等内容词，STM 的困惑度低于 HDP，表明其更有效地捕捉了文档级主题模式。
• 对于介词等功能词，STM 的表现与无限树模型相当或更优，表明其具备强大的句法一致性。
• 该模型成功识别出既语义连贯（如与‘Bermuda’相关的旅行术语）又句法合理的主题（如介词的名词宾语）。
• 模型的非参数特性使其能够发现可变数量的主题，其中许多主题为通用主题，另一些则为特定主题，如主题分布图所示。