[论文解读] Pitman-Yor Diffusion Trees

David A. Knowles, Zoubin Ghahramani|arXiv (Cornell University)|Jun 13, 2011

Bayesian Methods and Mixture Models参考文献 22被引用 17

一句话总结

该论文提出了Pitman-Yor扩散树（PYDT），一种贝叶斯非参数模型，通过将Pitman-Yor激发测度扩展到发散过程，将狄利克雷扩散树（DDT）推广为允许任意分支结构的层次聚类模型。PYDT实现了数据点上的可交换性与一致性树结构分布，提升了可解释性与边际似然，相较于DDT在连续与二值数据集上均通过MCMC和基于消息传递的贪心EM推理得到验证。

ABSTRACT

We introduce the Pitman Yor Diffusion Tree (PYDT) for hierarchical clustering, a generalization of the Dirichlet Diffusion Tree (Neal, 2001) which removes the restriction to binary branching structure. The generative process is described and shown to result in an exchangeable distribution over data points. We prove some theoretical properties of the model and then present two inference methods: a collapsed MCMC sampler which allows us to model uncertainty over tree structures, and a computationally efficient greedy Bayesian EM search algorithm. Both algorithms use message passing on the tree structure. The utility of the model and algorithms is demonstrated on synthetic and real world data, both continuous and binary.

研究动机与目标

• 开发一种层次聚类模型，通过消除二叉树限制，推广狄利克雷扩散树（DDT）。
• 定义一种生成过程，利用Pitman-Yor过程对发散事件建模，支持数据点上的可交换与一致分布。
• 通过退化MCMC采样器与基于消息传递的高效贪心贝叶斯EM算法，实现对树结构的不确定性量化。
• 在连续与二值数据上，与DDT相比，展示出更优的可解释性与预测性能。

提出的方法

• PYDT在虚构时间中使用扩散过程，数据点从原点出发，沿已有路径移动，直到在由类似危险函数控制的随机时间点发生发散。
• 在时间 $ t $ 的发散概率与 $ \frac{a(t)\Gamma(m - \beta)dt}{\Gamma(m + 1 + \alpha)} $ 成正比，其中 $ m $ 为路径上先前点的数量，$ \alpha, \beta $ 为Pitman-Yor过程的参数。
• 模型利用Pitman-Yor过程生成多歧树结构，树结构的概率由伽马函数与参数 $ \alpha, \beta $ 的乘积导出。
• 通过边际化发散位置的退化MCMC采样器与基于树上信念传播的贪心贝叶斯EM算法进行推断。
• 通过适当的观测模型（如高斯与probit似然）支持连续与二值数据。
• 通过消息传递实现树结构学习，高效计算发散点的边际似然与后验期望。

实验结果

研究问题

• RQ1 非参数贝叶斯模型能否在保持可交换性与一致性的前提下，支持层次聚类中的任意分支结构？
• RQ2 Pitman-Yor过程如何改进狄利克雷扩散树的二叉树约束？
• RQ3 PYDT能否对树结构实现不确定性量化，并在预测性能与可解释性上优于DDT？
• RQ4 PYDT生成过程下的树结构理论概率分布为何？
• RQ5 MCMC与贪心EM推断方法在真实世界连续与二值数据集上的可扩展性与性能表现如何？

主要发现

• PYDT对数据点产生了可交换且一致的分布，对应于最一般的多歧Gibbs碎片化树过程。
• 在猕猴颅骨数据集（$ D=10, N=200 $）上，PYDT的边际似然高于DDT，表明其预测性能更优。
• 由于内部节点更少，PYDT的推断效率略高于DDT，从而降低了信念传播的计算成本。
• 在102维二值动物属性数据集上，使用EM学习的PYDT生成了一幅直观的树结构，其聚类具有生物学意义（如水生哺乳动物、鸟类、昆虫）。
• 动物数据集的MAP树结构正确地将企鹅与水生物种归为一类，原因在于共享属性如“游泳”与“生活在水中”。
• 与DDT相比，PYDT通过允许更简单、更自然的树表示（无需强制二叉分裂）实现了更好的可解释性。