[论文解读] Prior Distributions for Partitions in Bayesian Nonparametrics

Lee H. Dicker, Shane T. Jensen|arXiv (Cornell University)|Jan 3, 2008

Bayesian Methods and Mixture Models参考文献 9被引用 2

一句话总结

本文提出统一过程（uniform process）作为贝叶斯非参数聚类中狄利克雷过程和皮特曼-叶尔过程的替代方案，提供一种避免‘富者愈富’特性的先验分布，通过为所有划分分配相等概率来实现。尽管在变量顺序上失去了可交换性，该统一过程在文档聚类中表现出强劲的实证性能，实际表现优于传统先验。

ABSTRACT

Prior distributions play a crucial role in Bayesian approaches to clustering. Two commonly-used prior distributions are the Dirichlet and Pitman-Yor processes. In this paper, we investigate the predictive probabilities that underlie these processes, and the implicit rich-get-richer characteristic of the resulting partitions. We explore an alternative prior for nonparametric Bayesian clustering -- the uniform process -- for applications where the rich-get-richer property is undesirable. We also explore the cost of this process: partitions are no longer exchangeable with respect to the ordering of variables. We present new asymptotic and simulation-based results for the clustering characteristics of the uniform process and compare these with known results for the Dirichlet and Pitman-Yor processes. We compare performance on a real document clustering task, demonstrating the practical advantage of the uniform process despite its lack of exchangeability over orderings.

研究动机与目标

• 为解决现有先验（如狄利克雷过程和皮特曼-叶尔过程）在聚类划分中诱导的‘富者愈富’效应这一局限性。
• 提出一种替代先验——称为统一过程——通过为所有划分分配相等概率，从而避免偏好连接（preferential attachment）。
• 分析统一过程引入的权衡：相对于变量顺序失去可交换性。
• 提供统一过程聚类行为的渐近分析与基于模拟的表征。
• 在真实文档聚类任务中评估统一过程的实际性能。

提出的方法

• 提出统一过程作为划分上的先验分布，为给定大小的所有划分分配相等概率。
• 推导统一过程下的预测概率，并与狄利克雷过程和皮特曼-叶尔过程的预测概率进行比较。
• 分析统一过程的渐近行为，特别是聚类数量的期望值与聚块大小分布。
• 通过模拟研究比较三种过程的聚类特征（如聚类大小与聚类数量）。
• 在真实世界文档聚类任务中评估实证性能，使用标准指标将统一过程与狄利克雷过程和皮特曼-叶尔过程进行比较。
• 证明统一过程缺乏可交换性，即划分分布依赖于数据点的观测顺序。

实验结果

研究问题

• RQ1 在聚类预测概率方面，统一过程与狄利克雷过程和皮特曼-叶尔过程相比如何？
• RQ2 统一过程的渐近性质是什么，特别是关于聚类数量的期望值与聚类大小分布？
• RQ3 统一过程是否消除了狄利克雷过程和皮特曼-叶尔过程中观察到的‘富者愈富’效应？
• RQ4 统一过程在真实文档聚类应用中的实际性能如何？
• RQ5 可交换性的丧失如何影响统一过程的可用性与可解释性？

主要发现

• 统一过程通过为给定大小的所有划分分配相等概率，成功避免了‘富者愈富’效应，这与狄利克雷过程和皮特曼-叶尔过程中观察到的偏好连接形成鲜明对比。
• 渐近分析表明，与狄利克雷过程相比，统一过程的聚类数量增长更缓慢，且聚类大小分布更加均衡。
• 模拟结果证实，统一过程产生的聚类大小分布比狄利克雷过程和皮特曼-叶尔过程更加均匀。
• 尽管缺乏可交换性，统一过程在真实文档聚类任务中仍实现了具有竞争力或更优的性能，表明在需要均衡聚类的场景中具有实际优势。
• 可交换性的缺失是一个重要权衡，因为划分的分布依赖于数据点的观测顺序。