[论文解读] Statistical Significance for Hierarchical Clustering

Patrick K. Kimes, Yufeng Liu+2 more|arXiv (Cornell University)|Nov 19, 2014

Gene expression and cancer classification参考文献 2被引用 28

一句话总结

该论文提出了一种基于蒙特卡洛方法的层次聚类统计显著性检验（SHC），这是一种控制高维、小样本设置下层次聚类家族错误率的序列假设检验程序。它利用树状图的嵌套结构，在每次合并步骤中检验聚类的显著性，在模拟数据和真实癌症基因表达数据中均展现出检测真实聚类结构的强大效能。

ABSTRACT

Cluster analysis has proved to be an invaluable tool for the exploratory and unsupervised analysis of high dimensional datasets. Among methods for clustering, hierarchical approaches have enjoyed substantial popularity in genomics and other fields for their ability to simultaneously uncover multiple layers of clustering structure. A critical and challenging question in cluster analysis is whether the identified clusters represent important underlying structure or are artifacts of natural sampling variation. Few approaches have been proposed for addressing this problem in the context of hierarchical clustering, for which the problem is further complicated by the natural tree structure of the partition, and the multiplicity of tests required to parse the layers of nested clusters. In this paper, we propose a Monte Carlo based approach for testing statistical significance in hierarchical clustering which addresses these issues. The approach is implemented as a sequential testing procedure guaranteeing control of the family-wise error rate. Theoretical justification is provided for our approach, and its power to detect true clustering structure is illustrated through several simulation studies and applications to two cancer gene expression datasets.

研究动机与目标

• 为解决在层次聚类中区分生物上有意义的聚类结构与抽样误差这一关键挑战。
• 开发一种方法，在层次聚类固有的嵌套有序检验多重性下仍能控制家族错误率（FWER）。
• 在基因组学中常见的高维、小样本（HDLSS）设置下实现统计显著性检验，而传统方法在此类场景下会失效。
• 提供一种尊重层次树结构的序列检验框架，避免人为设定聚类截断点。
• 为研究人员提供一种实用的、基于 R 语言实现的解决方案，以判断观察到的聚类是否具有统计显著性，而非偶然形成。

提出的方法

• 提出一种基于序列蒙特卡洛的假设检验程序，用于评估层次聚类树状图中每次合并的显著性。
• 对每次合并，检验原假设：即将合并的两个聚类在统计上无显著差异，备择假设：它们代表了真实的潜在聚类结构。
• 使用基于链接的检验统计量（加权平均距离）将观察到的聚类分离程度与原假设下通过重采样生成的分布进行比较。
• 通过随层级递进调整显著性阈值的序列停止规则，控制家族错误率（FWER）。
• 基于 HDDLSS 设置下的渐近理论，证明当特征数（p）趋于无穷大时，该方法的合理性。
• 采用一种重采样方案：在原假设下对数据进行置换，为每次合并生成经验 p 值，从而确保在高维情况下的稳健性。

实验结果

研究问题

• RQ1 能否开发一种统计检验方法，用于评估层次聚类中聚类的显著性，同时考虑结果的嵌套树状结构？
• RQ2 在树状图的合并层级中进行多个依赖性检验时，如何控制家族错误率？
• RQ3 所提出的方法在检测高维、小样本（HDLSS）基因组数据集中的真实聚类结构方面是否有效？
• RQ4 与 pvclust 和 SigClust 等现有方法相比，该方法在功效和 HDLSS 设置下的适用性如何？
• RQ5 当特征数 p → ∞ 时，该方法能否在渐近条件下获得理论上的合理性？

主要发现

• SHC 方法在高维设置下仍能有效控制整个层次检验序列的家族错误率（FWER）。
• 理论分析表明，在 HDLSS 渐近框架下，每个合并的经验 p 值在备择假设下收敛于 0，从而确保了检验的有效性。
• 模拟研究显示，SHC 在保持适当的 I 类错误控制的同时，展现出检测真实聚类结构的高功效，尤其在聚类分离度较强时表现更优。
• 在两个真实癌症基因表达数据集上的应用中，SHC 成功识别出与已知临床亚型一致的生物学相关亚型，优于基于启发式方法的聚类选择策略。
• 该方法在 HDLSS 设置下具有鲁棒性，且计算上仍可行，而某些替代方法（如 pvclust）在维度较低时会失效。
• 序列检验过程提供了合理的停止规则，使研究人员能够识别出最具统计显著性的聚类层次，而无需人为设定截断点。