[论文解读] Towards Competitive Classifiers for Unbalanced Classification Problems: A Study on the Performance Scores

Jonathan Ortigosa-Hernández, Iñaki Inza+1 more|arXiv (Cornell University)|Aug 31, 2016

Imbalanced Data Classification Techniques参考文献 25被引用 4

一句话总结

本文提出一个理论框架，用于评估不平衡分类问题中的性能得分，表明未加权的 Hölder 平均值（$p \leq 1$，例如 a-mean、g-mean）是评估分类器竞争力的最优选择。研究证明，大多数现有学习方法隐式地最大化 a-mean（$p=1$），并推导出在类别不平衡设置下确保任意类别均表现具有竞争力的实用边界。

ABSTRACT

Although a great methodological effort has been invested in proposing competitive solutions to the class-imbalance problem, little effort has been made in pursuing a theoretical understanding of this matter. In order to shed some light on this topic, we perform, through a novel framework, an exhaustive analysis of the adequateness of the most commonly used performance scores to assess this complex scenario. We conclude that using unweighted Hölder means with exponent $p \leq 1$ to average the recalls of all the classes produces adequate scores which are capable of determining whether a classifier is competitive. Then, we review the major solutions presented in the class-imbalance literature. Since any learning task can be defined as an optimisation problem where a loss function, usually connected to a particular score, is minimised, our goal, here, is to find whether the learning tasks found in the literature are also oriented to maximise the previously detected adequate scores. We conclude that they usually maximise the unweighted Hölder mean with $p = 1$ (a-mean). Finally, we provide bounds on the values of the studied performance scores which guarantee a classifier with a higher recall than the random classifier in each and every class.

研究动机与目标

• 确定在类别分布不平衡的情况下，哪些性能得分在理论上足以评估分类器的竞争力。
• 研究针对数据偏斜设计的现有学习解决方案实际优化的是哪些性能得分（损失函数）。
• 推导出实用边界，以确保在类别不平衡场景下，分类器在所有类别上的表现均优于随机预测。
• 通过控制重叠和噪声等因素，隔离类别分布对性能得分的影响。
• 为多类别、高度不平衡问题中的分类器评估与改进提供一个理论基础框架。

提出的方法

• 开发了一种新颖的受控分类框架，通过消除重叠和噪声等因素，隔离类别分布的影响。
• 以贝叶斯决策规则（BDR）作为参考分类器，分析在不同类别概率下性能得分的行为。
• 将关键性能得分表示为以指数 $p$ 参数化的各类别召回率的未加权 Hölder 平均值。
• 分析这些得分对类别分布变化的敏感性，重点关注 $p \leq 1$ 以实现对少数类别的平衡评估。
• 推导出 $p \in \mathbb{R} \cup \{+\infty, -\infty\}$ 的 Hölder 平均值的解析边界，以定义竞争力与无能表现。
• 将现有学习算法映射到其底层优化目标，表明它们通常最大化 a-mean（$p=1$）。

实验结果

研究问题

• RQ1 在类别不平衡的多类别问题中，哪些性能得分在理论上足以确定分类器的竞争力？
• RQ2 针对类别不平衡问题，最常见的学习解决方案实际优化的是哪些性能得分（损失函数）？
• RQ3 能否推导出解析边界，以保证分类器在每个类别上的召回率均高于随机分类器？
• RQ4 当其他混淆因素（如重叠、噪声）被消除后，类别分布如何影响性能得分的取值？
• RQ5 现有方法在多大程度上隐式地优化 a-mean？这一选择在理论上是否合理？

主要发现

• 在不平衡问题中，以各类别召回率为对象的未加权 Hölder 平均值（$p \leq 1$）是最适合评估分类器竞争力的性能得分。
• a-mean（$p=1$）是现有学习解决方案中最常被优化的得分，因为这些方法在各类别等概率条件下会渐近收敛至贝叶斯决策规则。
• 当 $p < 1$ 时，得分对少数类误分类的惩罚更重，使其对类别不平衡更敏感，因此更适合用于公平性评估。
• 本研究推导出两个实用边界：一个用于确保竞争力的最低得分值，另一个用于指示无能表现的最高得分值。
• 该框架成功隔离了类别分布对性能得分的影响，证实 $p \leq 1$ 的 Hölder 平均值是分类器平衡性的稳健指标。
• 结果表明，当前学习系统在理论上与最大化 a-mean 保持一致，但通过针对更低的 $p$ 值进行优化，可进一步增强对少数类的关注，从而实现改进。