[论文解读] The Impact of Random Models on Clustering Similarity

Alexander J. Gates, Yong‐Yeol Ahn|arXiv (Cornell University)|Jan 23, 2017

Advanced Clustering Algorithms Research参考文献 25被引用 10

一句话总结

本文通过在聚类数量和大小可变的两种随机聚类模型下推导兰德指数和标准化互信息（NMI）的期望值，而非标准的置换模型，提出了聚类相似性度量的校正版本。结果表明，随机模型的选择会显著影响相似性排序和基线评估，因此呼吁从业者根据聚类场景合理选择模型。

ABSTRACT

Clustering is a central approach for unsupervised learning. After clustering is applied, the most fundamental analysis is to quantitatively compare clusterings. Such comparisons are crucial for the evaluation of clustering methods as well as other tasks such as consensus clustering. It is often argued that, in order to establish a baseline, clustering similarity should be assessed in the context of a random ensemble of clusterings. The prevailing assumption for the random clustering ensemble is the permutation model in which the number and sizes of clusters are fixed. However, this assumption does not necessarily hold in practice; for example, multiple runs of K-means clustering returns clusterings with a fixed number of clusters, while the cluster size distribution varies greatly. Here, we derive corrected variants of two clustering similarity measures (the Rand index and Mutual Information) in the context of two random clustering ensembles in which the number and sizes of clusters vary. In addition, we study the impact of one-sided comparisons in the scenario with a reference clustering. The consequences of different random models are illustrated using synthetic examples, handwriting recognition, and gene expression data. We demonstrate that the choice of random model can have a drastic impact on the ranking of similar clustering pairs, and the evaluation of a clustering method with respect to a random baseline; thus, the choice of random clustering model should be carefully justified.

研究动机与目标

• 解决在聚类相似性评估中选择随机聚类模型作为基线比较时缺乏合理依据的问题。
• 挑战广泛使用的置换模型（固定聚类数量和大小）作为随机基线的普遍做法，因为该模型通常不能反映真实聚类场景。
• 在聚类数量和大小可变的两种替代随机模型下，推导兰德指数和NMI的校正版本。
• 证明不同随机模型会产生显著不同的期望相似性值，从而影响对聚类性能的解释。
• 倡导在聚类评估中根据上下文选择随机模型，特别是在K-means等方法中，尽管聚类数量固定，但聚类大小仍会变化。

提出的方法

• 推导在两种随机聚类集合下兰德指数的期望值：一种是聚类数量和大小均随机，另一种是仅聚类数量固定但大小可变。
• 在相同两种随机模型下推导标准化互信息（NMI）的期望值，同时考虑聚类数量和大小分布带来的偏差。
• 使用第二类斯特林数和贝尔数计算每种模型下可能的聚类组合数，从而实现期望值的精确计算。
• 对大规模数据集采用渐近近似方法（如多比尼公式）高效计算贝尔数和斯特林数。
• 使用合成数据、手写数字识别（digits数据集）和基因表达数据，比较不同模型下的校正相似性得分。
• 提出一种单侧比较框架，其中一个聚类固定（如参考聚类），另一个聚类被随机化，以在真实聚类评估中检验显著性。

实验结果

研究问题

• RQ1 随机聚类模型的选择如何影响兰德指数和NMI的期望相似性值？
• RQ2 与更灵活的随机模型（聚类数量和大小可变）相比，置换模型在基线期望值上有多大差异？
• RQ3 在真实聚类场景（如手写数字上的K-means和基因表达数据）中，校正后的相似性度量表现如何？
• RQ4 当聚类数量变化时，NMI中的归一化项对偏差有何影响？
• RQ5 在使用固定参考聚类的单侧比较中，所用随机模型的不同是否会得出不同的结论？

主要发现

• 在标准置换模型下，兰德指数和NMI的期望值与允许聚类数量和大小变化的模型相比存在显著差异，且随着数据集规模增大而愈加明显。
• 在新模型下，随机聚类的期望相似性随数据集规模增大而上升，这与直觉相悖，但可由期望聚类数量和大小分布的收敛性解释。
• 在digits数据集中，K-means聚类在置换模型下与参考聚类的相似性很高，但使用更符合实际的、聚类大小可变的随机模型进行校正后，该相似性显著下降。
• 基因表达数据表明，随机模型的选择会改变聚类方法的排名，某些方法在不同基线下可能显得更好或更差。
• NMI中的归一化项引入了依赖于聚类数量的偏差，而该偏差在置换模型下未被充分校正，导致产生误导性解释。
• 本文框架揭示，置换模型往往‘不够随机’——它保留了真实聚类结构的特征，因此作为评估基线表现不佳。