[论文解读] The nested Chinese restaurant process and hierarchical topic models

David M. Blei, Thomas L. Griffiths+1 more|arXiv (Cornell University)|Oct 3, 2007

Bayesian Methods and Mixture Models被引用 6

一句话总结

该论文提出了嵌套中国餐馆过程（nCRP），一种非参数贝叶斯先验，用于对文档集合中的无限深度和分支的主题层次结构进行建模。通过利用nCRP的优先连接动态机制，文档在多个抽象层次上被聚类，后验推断算法能够高效地发现主题树、主题以及词的分配，实验证明其在科学摘要集合上的性能表现优异。

ABSTRACT

We present the nested Chinese restaurant process (nCRP), a stochastic process which assigns probability distributions to infinitelydeep, infinitely-branching trees. We show how this stochastic process can be used as a prior distribution in a nonparametric Bayesian model of document collections. Specifically, we present an application to information retrieval in which documents are modeled as paths down a random tree, and the preferential attachment dynamics of the nCRP leads to clustering of documents according to sharing of topics at multiple levels of abstraction. Given a corpus of documents, a posterior inference algorithm finds an approximation to a posterior distribution over trees, topics and allocations of words to levels of the tree. We demonstrate this algorithm on several collections of scientific abstracts. This model exemplifies a recent trend in statistical machine learning—the use of nonparametric Bayesian methods to infer distributions on flexible data structures.

研究动机与目标

• 开发一种灵活的非参数先验，用于对文档集合中具有无限深度和分支的主题结构进行建模。
• 实现无需预先指定主题数量或树结构的多级抽象层次的主题层次结构自动发现。
• 提供一种生成模型，其中文档被表示为随机树中从根到叶节点的路径，以捕捉跨层次的主题共享。
• 设计一种后验推断算法，以近似树结构、主题和词主题分配的联合后验分布。
• 在真实世界的科学摘要集合上评估该模型，证明其能够揭示有意义的层次主题结构。

提出的方法

• 提出嵌套中国餐馆过程（nCRP）作为一种随机过程，为无限深度、无限分支的树结构分配概率分布。
• 将nCRP用作树结构的先验，其中每个节点代表一个主题，文档作为从根节点到叶节点的路径生成。
• 在nCRP中应用优先连接动态机制，倾向于添加与现有主题或分支相似的新主题或分支，从而实现层次聚类。
• 开发一种后验推断算法，使用变分推断或吉布斯采样，近似树结构、主题和词主题分配的联合后验分布。
• 将文档建模为树中路径上的主题序列，词的生成条件依赖于每个节点的主题。
• 采用非参数贝叶斯框架，使主题数量和树的深度可根据数据增长，避免固定模型复杂度。

实验结果

研究问题

• RQ1 非参数贝叶斯模型是否能够自动推断出无需预先定义主题数量或树深度的层次主题结构？
• RQ2 嵌套中国餐馆过程在文档集合中是否能有效捕捉多层次的主题聚类？
• RQ3 该模型是否能有效将文档表示为树中的路径，同时支持对主题层次结构的高效后验推断？
• RQ4 该模型在真实科学摘要数据集上发现有意义且可解释的主题层次结构方面的表现如何？
• RQ5 nCRP的优先连接机制如何支持连贯、分层的主题结构的自然涌现？

主要发现

• nCRP成功建模了无限深度和分支的主题层次结构，实现了无需固定结构约束的文档集合灵活表示。
• 该模型发现的主题层次结构中，文档基于多级抽象层次上的共享主题被聚类。
• 后验推断算法有效近似了树结构、主题和词分配的联合后验分布，支持可扩展的学习。
• 在科学摘要集合上的实证评估表明，该模型揭示了连贯且可解释的主题层次结构，反映了现实世界中的主题关系。
• nCRP中的优先连接机制导致在不同粒度层次上共享主题的文档自然聚类。
• 该模型的非参数特性使其能够适应数据的复杂性，根据需要动态扩展主题树，避免过拟合。