[论文解读] Summary Statistics for Partitionings and Feature Allocations

Işık Barış Fidaner, Ali Taylan Cemgil|arXiv (Cornell University)|Oct 1, 2013

Bayesian Methods and Mixture Models参考文献 18被引用 3

一句话总结

本文提出熵聚合（EA），一种新颖的方法，用于总结和可视化无限混合模型中分区和特征分配的样本集。通过定义基于元素的熵并使用累积统计量，EA 生成可解释的树状图，揭示聚类结构、分割模式以及后验样本中的不确定性，在合成数据、基因表达数据和政府间组织数据集上表现出色。

ABSTRACT

Infinite mixture models are commonly used for clustering. One can sample from the posterior of mixture assignments by Monte Carlo methods or find its maximum a posteriori solution by optimization. However, in some problems the posterior is diffuse and it is hard to interpret the sampled partitionings. In this paper, we introduce novel statistics based on block sizes for representing sample sets of partitionings and feature allocations. We develop an element-based definition of entropy to quantify segmentation among their elements. Then we propose a simple algorithm called entropy agglomeration (EA) to summarize and visualize this information. Experiments on various infinite mixture posteriors as well as a feature allocation dataset demonstrate that the proposed statistics are useful in practice.

研究动机与目标

• 为解决无限混合模型中分区和特征分配后验分布分散的问题。
• 开发一种系统化方法，利用累积统计量和出现矩阵表示分区和特征分配的样本集。
• 为每个元素定义信息和熵序列，以量化聚类结构中的分割与不确定性。
• 提出一种简单而有效的算法——熵聚合（EA），用于可视化样本集中关键的结构模式。
• 在多样化的实际与合成数据集（包括基因表达和政府间组织成员关系）上展示所提出统计量的实用性。

提出的方法

• 提出一种基于每个元素信息的新熵定义，用于量化分区和特征分配中元素之间的分割。
• 引入累积统计量和累积出现分布矩阵，系统化表示分区和特征分配的样本集。
• 开发熵聚合（EA）算法，选择并可视化最能代表样本集结构的一小部分熵序列。
• 使用按 EA 树状图排序的成对出现概率，可视化共现模式和聚类层次结构。
• 将该方法应用于无限混合模型的后验样本以及直接的特征分配数据集（如 IGO 成员关系）。
• 采用基于熵序列引导的分层聚合过程，构建反映数据潜在结构的树状图。

实验结果

研究问题

• RQ1 当后验分布分散时，如何有效总结和可视化分区与特征分配的样本集？
• RQ2 如何为分区和特征分配定义有意义的熵，以捕捉每个元素的信息和分割特性？
• RQ3 能否利用累积统计量和熵序列构建样本集中聚类结构的分层表示？
• RQ4 熵聚合（EA）算法在揭示多样化数据集中真实潜在结构方面的表现如何？
• RQ5 所提出的方法能否直接应用于现实世界中的特征分配数据（如政府间组织成员关系）？

主要发现

• 熵聚合（EA）算法在具有三个明显分离聚类的合成数据中成功揭示了潜在聚类结构，能够基于元素分散程度区分内部与外部元素。
• 在鸢尾花数据集上，EA 将每种 50 个样本正确归为单一叶节点，反映出其强可分性及后验分布中的低不确定性。
• 在 Galactose 基因表达数据集中，EA 将 70 个核糖体蛋白（RP）基因和 12 个己糖转运（HX）基因识别为独立叶节点，并揭示出外层 19 个基因与内层 68 个基因的分层结构。
• 在 IGO 数据集中，EA 直接应用于特征分配（IGO-年份成员关系）恢复了有意义的大陆排序：欧洲、美洲-澳大利亚-新西兰、亚洲、非洲和中东，证明其在非后验数据上的实用性。
• 当与按顺序排列的成对出现矩阵结合时，EA 树状图能有效可视化共现模式和结构不确定性，灰色深浅表示聚类凝聚程度的差异。
• 该方法实现简单，无需深入先验知识，却能为多样化领域中复杂后验样本集提供有意义且可解释的总结。