[论文解读] Nonparametric Bayes Pachinko Allocation

Wei Li, David M. Blei+1 more|arXiv (Cornell University)|Jun 20, 2012

Bayesian Methods and Mixture Models参考文献 12被引用 74

一句话总结

本文提出了一种基于分层狄利克雷过程（HDP）先验的非参数贝叶斯扩展Pachinko Allocation Model（PAM），可从非结构化文本数据中自动推断主题数量及其相关结构。通过将PAM嵌入HDP框架，该模型无需人工指定即可发现主题层次结构与依赖关系，在真实数据和合成数据集上的性能与调优后的PAM相当，同时消除了对主题数量选择的需求。

ABSTRACT

Recent advances in topic models have explored complicated structured distributions to represent topic correlation. For example, the pachinko allocation model (PAM) captures arbitrary, nested, and possibly sparse correlations between topics using a directed acyclic graph (DAG). While PAM provides more flexibility and greater expressive power than previous models like latent Dirichlet allocation (LDA), it is also more difficult to determine the appropriate topic structure for a specific dataset. In this paper, we propose a nonparametric Bayesian prior for PAM based on a variant of the hierarchical Dirichlet process (HDP). Although the HDP can capture topic correlations defined by nested data structure, it does not automatically discover such correlations from unstructured data. By assuming an HDP-based prior for PAM, we are able to learn both the number of topics and how the topics are correlated. We evaluate our model on synthetic and real-world text datasets, and show that nonparametric PAM achieves performance matching the best of PAM without manually tuning the number of topics.

研究动机与目标

• 为解决Pachinko Allocation Models（PAM）中手动指定主题结构与数量所带来的可扩展性与适应性限制问题。
• 通过非参数贝叶斯方法，实现从非结构化文本数据中自动发现主题相关性与主题数量。
• 将分层狄利克雷过程（HDP）扩展至通过DAG结构化主题相关性来建模主题依赖关系，使其能够自适应数据复杂度。
• 开发一种灵活、数据驱动的主题模型，其表达能力与PAM相当，同时无需预先了解主题结构知识。

提出的方法

• 采用分层狄利克雷过程（HDP）的一种变体作为PAM中主题分布的非参数先验。
• 使用有向无环图（DAG）结构建模主题相关性，其中每个主题在其图中父节点的条件依赖下定义。
• 采用中国餐馆过程（CRP）构造，使主题数量能随数据灵活增长，避免预先指定。
• 引入截断棒破除过程（stick-breaking process）以定义主题依赖的层次结构，实现主题层次结构的自动发现。
• 通过吉布斯采样进行后验推断，联合估计主题分配、主题相关性与主题数量。
• 利用HDP的分层聚类能力，使模型能够从数据中学习嵌套且稀疏的主题关系。

实验结果

研究问题

• RQ1 非参数贝叶斯先验是否能自动推断Pachinko Allocation Model中的最优主题数量，而无需手动调优？
• RQ2 基于HDP的先验在主题相关性结构发现方面，与PAM中固定DAG相比表现如何？
• RQ3 当主题数量未预先指定时，所提模型在主题建模基准测试中的性能是否保持或提升？
• RQ4 该模型在无先验假设下，对不同数据复杂度与主题结构的适应程度如何？
• RQ5 该模型是否能仅从非结构化文本数据中发现有意义、稀疏且嵌套的主题依赖关系？

主要发现

• 非参数PAM模型在合成数据与真实世界文本数据集上的表现与最佳调优的PAM模型相当，且无需手动选择主题数量。
• 该模型成功从数据中发现主题相关性与层次结构，包括稀疏与嵌套依赖关系，且无需预先指定DAG。
• HDP先验的使用实现了主题数量的自动推断，结果在多个数据集上表现出稳定的收敛性。
• 实证评估证实，该模型在未见数据上泛化能力良好，保持了高主题一致性与预测似然。
• 该模型对不同数据规模与主题复杂度表现出鲁棒性，在模型拟合度与可解释性方面优于基线LDA与固定PAM模型。