[论文解读] Sanity Check for External Clustering Validation Benchmarks using Internal Validation Measures

Hyeon Jeon, Michaël Aupetit+4 more|arXiv (Cornell University)|Sep 20, 2022

Advanced Clustering Algorithms Research被引用 6

一句话总结

本文提出了一种系统化的方法，通过从 Calinski-Harabasz 指数推导出的广义跨数据集内部验证度量 CH₋twn，对基准数据集中的聚类标签匹配（CLM）进行评估与比较。该方法满足四项关于跨数据集可比性的新公理，在准确性和速度方面均优于现有方法，从而通过识别具有高内在 CLM 质量的数据集，实现可靠的外部聚类验证。

ABSTRACT

We address the lack of reliability in benchmarking clustering techniques based on labeled datasets. A standard scheme in external clustering validation is to use class labels as ground truth clusters, based on the assumption that each class forms a single, clearly separated cluster. However, as such cluster-label matching (CLM) assumption often breaks, the lack of conducting a sanity check for the CLM of benchmark datasets casts doubt on the validity of external validations. Still, evaluating the degree of CLM is challenging. For example, internal clustering validation measures can be used to quantify CLM within the same dataset to evaluate its different clusterings but are not designed to compare clusterings of different datasets. In this work, we propose a principled way to generate between-dataset internal measures that enable the comparison of CLM across datasets. We first determine four axioms for between-dataset internal measures, complementing Ackerman and Ben-David's within-dataset axioms. We then propose processes to generalize internal measures to fulfill these new axioms, and use them to extend the widely used Calinski-Harabasz index for between-dataset CLM evaluation. Through quantitative experiments, we (1) verify the validity and necessity of the generalization processes and (2) show that the proposed between-dataset Calinski-Harabasz index accurately evaluates CLM across datasets. Finally, we demonstrate the importance of evaluating CLM of benchmark datasets before conducting external validation.

研究动机与目标

• 解决当基准数据集存在较差的聚类标签匹配（CLM）时，外部聚类验证不可靠的问题。
• 为在数据集规模、维度和类别分布各不相同的条件下，比较 CLM 建立一个系统化、公理化的框架。
• 开发一种计算高效且准确的度量方法，将内部验证推广至跨数据集的 CLM 评估。
• 证明 CLM 质量对使用外部验证度量时聚类技术排序的稳定性和可靠性具有显著影响。
• 在进行外部验证前对基准数据集进行合理性检查，提升聚类研究的可信度。

提出的方法

• 提出四项关于跨数据集内部验证度量（IVM btwn）的新公理，以确保在不同数据集之间进行公平且一致的 CLM 比较。
• 将 Calinski-Harabasz 指数广义化，提出 CH₋twn，一种通过满足所提公理来评估不同数据集间 CLM 的度量。
• 通过技术转换（如归一化和距离缩放）将组内数据集的 IVM 转换为跨数据集的对应度量，同时保持公理性质。
• 通过在 96 个基准数据集上对比 CH₋twn 与标准 IVM 和 EVM 的定量实验，验证广义化过程的有效性。
• 根据 CH₋twn 对数据集进行排序，以识别最可靠的基准数据集用于外部验证，使用聚类技术排序的稳定性作为代理指标。
• 证明 CH₋twn 每个数据集的运行时间在数十秒内，远快于优化真实标签聚类技术所需的数小时，展现出显著的效率优势。

实验结果

研究问题

• RQ1 我们能否定义一组公理，以确保在具有不同特性的数据集之间对聚类标签匹配（CLM）进行公平且一致的比较？
• RQ2 如何将内部验证度量广义化，以评估不同数据集之间的 CLM，而非仅限于单个数据集内部？
• RQ3 所提出的跨数据集 Calinski-Harabasz 指数（CH₋twn）是否在按 CLM 质量对数据集进行排序方面优于现有方法？
• RQ4 CLM 质量在多大程度上影响使用外部验证度量时聚类技术排序的稳定性和可靠性？
• RQ5 CH₋twn 是否可作为快速、可靠的合理性检查工具，用于识别可信的基准数据集以支持外部聚类评估？

主要发现

• CH₋twn 在评估和对 96 个基准数据集的 CLM 进行排序方面显著优于所有竞争方法，在性能上比标准 Calinski-Harabasz 指数高出 20%。
• 所提出的方法仅在 CH₋twn 排名靠前的数据集上才能确保聚类技术排序的稳定与可靠，证实其在识别可信基准数据集中的作用。
• 聚类技术的成对排序稳定性仅在 CH₋twn 排名前 20 名的数据集中较高，而在后 20 名数据集中则不稳定且任意，验证了该方法的有效性。
• CH₋twn 每个数据集的运行时间在数十秒内，而优化真实标签聚类技术则需数小时，展现出巨大的效率优势。
• 许多广泛使用的数据集（如 Spambase、Hepatitis）因 CLM 质量差，此前在外部验证中未经过合理性检查，从而削弱了先前研究结果的可靠性。
• 本研究发现，CLM 质量低的数据集可能产生误导性的 EVM 分数，导致即使聚类算法表现良好，外部验证结果依然不可靠。