[论文解读] Revisiting Data Complexity Metrics Based on Morphology for Overlap and Imbalance: Snapshot, New Overlap Number of Balls Metrics and Singular Problems Prospect

José Daniel Pascual-Triana, David Charte+3 more|arXiv (Cornell University)|Jul 15, 2020

Imbalanced Data Classification Techniques参考文献 88被引用 21

一句话总结

本文提出了一种名为重叠球数（ONB）的新颖数据复杂度度量家族，通过测量覆盖数据所需的特定类别球体数量来评估类别重叠与不平衡，与分类性能表现出强相关性，并在现有度量方法之上实现了更优的重叠估计。ONB度量在形态复杂度评估方面表现卓越，尤其适用于类别不平衡且存在重叠的数据集，并为将复杂度分析适配至多标签学习与多实例学习等特定问题奠定了基础。

ABSTRACT

Data Science and Machine Learning have become fundamental assets for companies and research institutions alike. As one of its fields, supervised classification allows for class prediction of new samples, learning from given training data. However, some properties can cause datasets to be problematic to classify. In order to evaluate a dataset a priori, data complexity metrics have been used extensively. They provide information regarding different intrinsic characteristics of the data, which serve to evaluate classifier compatibility and a course of action that improves performance. However, most complexity metrics focus on just one characteristic of the data, which can be insufficient to properly evaluate the dataset towards the classifiers' performance. In fact, class overlap, a very detrimental feature for the classification process (especially when imbalance among class labels is also present) is hard to assess. This research work focuses on revisiting complexity metrics based on data morphology. In accordance to their nature, the premise is that they provide both good estimates for class overlap, and great correlations with the classification performance. For that purpose, a novel family of metrics have been developed. Being based on ball coverage by classes, they are named after Overlap Number of Balls. Finally, some prospects for the adaptation of the former family of metrics to singular (more complex) problems are discussed.

研究动机与目标

• 解决现有数据复杂度度量方法的局限性，这些方法通常仅关注重叠或不平衡等单一特征，难以捕捉其联合效应。
• 开发一种基于形态结构的新度量家族，通过分析数据结构的球体覆盖方式，联合估计类别重叠与不平衡。
• 评估这些新度量是否在多种分类器与数据集上与实际分类性能表现出强相关性。
• 将基于形态结构的复杂度度量适用范围扩展至特定分类问题，如多标签学习、多实例学习与多视图学习。

提出的方法

• 提出一种新的度量家族——重叠球数（ONB），通过测量覆盖所有数据点所需特定类别的球体数量来量化数据复杂度。
• 将球体定义为以数据点为中心、半径由同类别最近邻决定的超球体，确保类别特异性覆盖。
• 通过聚合覆盖重叠区域所需的球体数量来计算ONB度量，球体数量越多，表示重叠程度与复杂度越高。
• 采用多范式实验设置，结合基于实例、决策树与贝叶斯分类器，验证度量性能。
• 将ONB度量应用于具有受控重叠与不平衡的人工数据集以及真实世界基准数据集，以确保其泛化能力。
• 通过重新定义中心点与距离度量方式，将ONB适配至特定问题，例如在多实例学习中使用包的均值作为中心点，或在多视图问题中采用特征层面的兼容性度量。

实验结果

研究问题

• RQ1 基于形态结构的度量（如ONB）是否能比单一特征度量更准确、更全面地估计数据复杂度？
• RQ2 ONB度量在多种学习算法与数据集上是否与实际分类性能表现出良好相关性？
• RQ3 ONB度量在具有挑战性的类别不平衡且存在重叠的场景中，能否同时有效估计类别重叠与不平衡？
• RQ4 ONB度量如何适配至多标签学习、多实例学习与多视图学习等特定分类问题？
• RQ5 ONB度量是否在预测分类器性能与识别预处理需求方面优于当前最先进的复杂度度量？

主要发现

• ONB度量，特别是ONBman_avg，在面积曲线下（AUC）与几何平均等分类性能指标上表现出与之强相关的特性。
• ONB度量能够提供可靠且信息丰富的重叠估计，优于现有度量在捕捉复杂边界结构方面的能力。
• 所提出的基于形态结构的方法能有效将重叠与不平衡整合为单一复杂度度量，提供对数据难度更全面的评估。
• ONB度量在多种分类器类型（包括基于实例、决策树与贝叶斯模型）中均表现出鲁棒性。
• 将ONB适配至特定问题（如多实例学习与多标签学习）的方法在技术上可行，并通过合理选择中心点与距离度量保持了良好的可解释性。
• 本研究证实，数据形态是复杂度分析中极具价值的视角，尤其在传统度量方法失效的类别不平衡且存在重叠的数据集中表现尤为突出。