[论文解读] The Impact of Isolation Kernel on Agglomerative Hierarchical Clustering Algorithms

Xin Han, Ye Zhu+2 more|arXiv (Cornell University)|Oct 12, 2020

Advanced Clustering Algorithms Research被引用 4

一句话总结

本文提出用 Isolation Kernel 替代凝聚层次聚类（AHC）中的基于距离的链接方法——一种能根据局部密度自适应的数据相关核函数，以解决传统 AHC 中因优先合并高密度簇而导致的偏差问题，从而在具有不同密度簇的数据集中提升树状图质量。实证评估表明，Isolation Kernel 在多种 AHC 算法中显著提升了树状图纯度，优于基于距离、高斯核及自适应高斯核的方法。

ABSTRACT

Agglomerative hierarchical clustering (AHC) is one of the popular clustering approaches. Existing AHC methods, which are based on a distance measure, have one key issue: it has difficulty in identifying adjacent clusters with varied densities, regardless of the cluster extraction methods applied on the resultant dendrogram. In this paper, we identify the root cause of this issue and show that the use of a data-dependent kernel (instead of distance or existing kernel) provides an effective means to address it. We analyse the condition under which existing AHC methods fail to extract clusters effectively; and the reason why the data-dependent kernel is an effective remedy. This leads to a new approach to kernerlise existing hierarchical clustering algorithms such as existing traditional AHC algorithms, HDBSCAN, GDL and PHA. In each of these algorithms, our empirical evaluation shows that a recently introduced Isolation Kernel produces a higher quality or purer dendrogram than distance, Gaussian Kernel and adaptive Gaussian Kernel.

研究动机与目标

• 识别并正式分析传统凝聚层次聚类（T-AHC）在处理不同密度簇时聚类性能不佳的根本原因。
• 证明 T-AHC 中倾向于优先合并高密度区域的偏差，源于使用了与数据无关的距离或核度量。
• 提出一种通用的、可即插即用的解决方案：使用 Isolation Kernel 替代现有 AHC 算法中的距离度量，而无需修改其核心链接函数。
• 评估 Isolation Kernel 在多种 AHC 算法中相较于距离、高斯核及自适应高斯核在提升树状图纯度方面的有效性。
• 建立正式指标——纠缠计数与平均纠缠水平，其与树状图纯度具有强相关性，从而实现聚类质量的客观评估。

提出的方法

• 引入“纠缠”概念，用于量化树状图中跨簇合并的严重程度，定义为包含来自不同真实簇点的子树。
• 定义两种纠缠指标：纠缠数量与平均纠缠水平，实证显示其与树状图纯度高度相关。
• 提出 Isolation Kernel 作为一种数据相关核函数，能自适应局部密度，减少过早合并高密度簇的偏差。
• 将 Isolation Kernel 作为距离的替代品，应用于四种现有 AHC 算法：单链接 AHC、全链接 AHC、HDBSCAN、GDL 和 PHA，且不修改其核心算法逻辑。
• 使用距离矩阵作为输入，以确保各类方法在复杂度比较上的公平性，实现一致的计算评估。
• 采用 Friedman 检验结合事后 Nemenyi 检验，评估不同核类型在 F1 分数上的性能差异是否具有统计显著性。

实验结果

研究问题

• RQ1 在何种正式条件下，传统 AHC 在处理具有不同密度的簇时，无法有效提取真实簇？
• RQ2 为何使用与数据无关的距离或核度量会导致 AHC 中优先合并高密度簇而非低密度簇？
• RQ3 Isolation Kernel 作为一种数据相关核函数，如何缓解 AHC 算法中的密度偏差？
• RQ4 在多种 AHC 算法中，用 Isolation Kernel 替代距离在多大程度上提升了树状图纯度？
• RQ5 纠缠指标（数量与平均水平）是否与树状图纯度存在统计相关性，可作为客观聚类质量度量？

主要发现

• 在所有测试的 AHC 算法中，Isolation Kernel 相较于距离、高斯核及自适应高斯核，均显著提升了树状图纯度。
• 事后 Nemenyi 检验显示，在 α=0.10 水平下，Isolation Kernel 显著优于所有其他度量，而其他核函数之间无显著差异。
• 纠缠数量与平均纠缠水平与树状图纯度高度相关，验证了其作为聚类质量诊断指标的有效性。
• 由于 Isolation Kernel 的集成特性，其运行时间略高于其他核函数，但其计算可适配 GPU 加速，缓解了性能担忧。
• 所提方法具有通用性：仅通过将距离替换为 Isolation Kernel，即可在不修改 AHC 算法链接函数或结构的前提下，提升现有 AHC 算法的聚类质量。
• 实证结果证实，Isolation Kernel 在四个真实数据集（WDBC、Banknote、Segment、Spam）上优于现有核函数，且在所有算法中均实现了稳定的 F1 分数提升。