[论文解读] Robust Hierarchical Clustering

Maria-Florina Balcan, Yingyu Liang+1 more|arXiv (Cornell University)|Jan 1, 2014

Advanced Clustering Algorithms Research参考文献 31被引用 57

一句话总结

本文提出了一种鲁棒的分层聚类算法，通过使用全局聚类相似性与基于中位数的链接测试，改进了传统凝聚式方法对噪声的抵抗能力。该方法在满足自然数据特性（如良好邻域性质）的条件下实现准确聚类，在含噪声的合成数据与真实数据上优于标准方法，并能有效扩展至小随机样本的归纳设置。

ABSTRACT

One of the most widely used techniques for data clustering is agglomerative clustering. Such algorithms have been long used across many different fields ranging from computational biology to social sciences to computer vision in part because their output is easy to interpret. Unfortunately, it is well known, however, that many of the classic agglomerative clustering algorithms are not robust to noise. In this paper we propose and analyze a new robust algorithm for bottom-up agglomerative clustering. We show that our algorithm can be used to cluster accurately in cases where the data satisfies a number of natural properties and where the traditional agglomerative algorithms fail. We also show how to adapt our algorithm to the inductive setting where our given data is only a small random sample of the entire data set. Experimental evaluations on synthetic and real world data sets show that our algorithm achieves better performance than other hierarchical algorithms in the presence of noise. <br>

研究动机与目标

• 解决经典凝聚式聚类算法在噪声和异常值下缺乏鲁棒性的长期问题。
• 开发一种基于链接的分层聚类算法，在传统方法失效的噪声条件下仍能保持准确性。
• 在自然数据特性（如良好邻域性质、边界点结构）下形式化鲁棒性保证。
• 将算法扩展至归纳设置，通过小随机样本实现大规模数据集的高效聚类。
• 通过实证验证该算法在真实与合成数据集上对噪声与参数调优的优越性能与鲁棒性。

提出的方法

• 使用中位数检验计算聚类相似性，降低噪声成对相似性的影响。
• 采用全局相似性度量，聚合多个点的信息，而非依赖单一成对链接。
• 引入两阶段聚类过程：首先基于邻域结构识别优质点与边界点，然后应用鲁棒链接。
• 对生成的层次结构应用剪枝策略，以恢复目标聚类，确保在良好邻域性质下的正确性。
• 通过在小随机样本上构建层次结构，并以可证明的正确性将结果扩展至全数据集，实现算法在归纳设置下的适应。
• 通过调节参数 α 和 ν（合并为 α + ν）控制噪声容忍度，实证验证表明其在连续取值范围内具有鲁棒性。

实验结果

研究问题

• RQ1 能否设计一种基于链接的凝聚式聚类算法，在保持自然数据特性下具备可证明的抗噪能力？
• RQ2 在何种数据结构条件下（如良好邻域性质），所提算法能保证正确聚类？
• RQ3 如何将算法适应至归纳设置，即仅能获取小随机样本时，而不损失正确性？
• RQ4 在各种噪声模型下，所提算法与标准分层聚类方法相比性能如何？
• RQ5 该算法对参数调优的鲁棒性如何？能否实现对人工参数选择的鲁棒性？

主要发现

• 在具有受控噪声的合成数据集上，所提算法在良好邻域性质下优于标准凝聚式方法，聚类准确率更高。
• 在真实数据集（如 Wine、Iris、BCW、BCWD）上，该算法始终优于其他分层聚类方法，尤其在数据被污染或存在高斯噪声时表现更优。
• 算法对参数调优具有鲁棒性，在 (α + ν) 的连续取值范围内均保持良好性能，仅在低噪声数据集（如 Iris）中需极窄范围的参数设置。
• 在归纳设置下，该算法在标准与 PFAM 数据集上显著优于随机采样基线，尤其当数据满足良好邻域性质时。
• Ward 方法也表现出对噪声的鲁棒性，但所提算法在指定数据特性下性能更优或相当，且具备更强的理论保证。
• 该算法的归纳版本仅需一个大小与全数据集规模无关的小随机样本，从而实现对大规模应用的可扩展性。