[论文解读] Rethinking Class Imbalance in Machine Learning

Ou Wu|arXiv (Cornell University)|May 6, 2023

Imbalanced Data Classification Techniques被引用 4

一句话总结

本文提出了一种机器学习中类别不平衡的新型分类法，识别出传统比例不平衡之外的四种新类型——方差不平衡、距离不平衡、邻域不平衡和质量不平衡。提出MetaLDA，一种元学习的logit扰动损失函数，可联合解决比例、方差和距离不平衡问题，显著提升公平性与泛化能力，在CIFAR100和CIFAR100-LT等基准数据集上达到最先进性能。

ABSTRACT

Imbalance learning is a subfield of machine learning that focuses on learning tasks in the presence of class imbalance. Nearly all existing studies refer to class imbalance as a proportion imbalance, where the proportion of training samples in each class is not balanced. The ignorance of the proportion imbalance will result in unfairness between/among classes and poor generalization capability. Previous literature has presented numerous methods for either theoretical/empirical analysis or new methods for imbalance learning. This study presents a new taxonomy of class imbalance in machine learning with a broader scope. Four other types of imbalance, namely, variance, distance, neighborhood, and quality imbalances between/among classes, which may exist in machine learning tasks, are summarized. Two different levels of imbalance including global and local are also presented. Theoretical analysis is used to illustrate the significant impact of the new imbalance types on learning fairness. Moreover, our taxonomy and theoretical conclusions are used to analyze the shortcomings of several classical methods. As an example, we propose a new logit perturbation-based imbalance learning loss when proportion, variance, and distance imbalances exist simultaneously. Several classical losses become the special case of our proposed method. Meta learning is utilized to infer the hyper-parameters related to the three types of imbalance. Experimental results on several benchmark corpora validate the effectiveness of the proposed method.

研究动机与目标

• 通过识别并形式化四种新的类别不平衡类型——方差不平衡、距离不平衡、邻域不平衡和质量不平衡，将不平衡学习的研究范围从比例不平衡扩展至更广泛范畴。
• 分析方差和距离不平衡对模型公平性与泛化能力的理论影响，即使在没有比例不平衡的情况下亦成立。
• 开发一种统一的学习方法，可同时缓解多种不平衡类型，提升长尾学习场景下的公平性与性能。
• 通过在基准数据集上的大量实验验证所提方法的有效性，证明其优于经典方法。

提出的方法

• 提出一种新的类别不平衡分类法，引入四种新类型：方差不平衡（类别间特征方差差异）、距离不平衡（类别间距离差异）、邻域不平衡（局部邻域结构差异）和质量不平衡（样本质量或难度差异）。
• 引入双层次视角：全局不平衡（整体类别分布）与局部不平衡（类内或局部区域的差异）
• 提出MetaLDA，一种元学习的logit扰动损失函数，包含三项：基于比例的项（log(π_y / π_c)）、调整方差的项（△w_y^T Σ_y △w_y / ||△w_y||²）和调整距离的项（log(Δ̄ / Δ_yc)）
• 利用元学习自动推断三类不平衡的超参数，实现在训练过程中的自适应优化
• 采用理论分析证明，仅方差和距离不平衡即可导致显著不公平，即使不存在比例不平衡
• 在CIFAR100和CIFAR100-LT上验证方法有效性，表明损失函数各组成部分均对性能提升有贡献，且MetaLDA优于基线和经典方法

Figure 1: The proposed new taxonomy for class imbalance. Existing studies merely deal with proportion imbalance.

实验结果

研究问题

• RQ1 即使类别比例均衡，方差和距离不平衡是否可独立导致不公平与泛化性能下降？
• RQ2 比例、方差和距离等多种不平衡类型如何相互作用并共同影响模型性能？
• RQ3 能否设计一种统一的损失函数，同时缓解比例、方差和距离不平衡？
• RQ4 当多种不平衡类型共现时，现有经典方法为何会失效，其失效程度如何？
• RQ5 元学习能否以数据驱动方式有效推断不同不平衡类型下的最优超参数？

主要发现

• 理论分析证实，即使不存在类别比例差异，方差和距离不平衡亦可导致与比例不平衡相当程度的不公平。
• 在CIFAR100-LT（100:1）上，MetaLDA的Top-1错误率为51.55% ± 0.30%，优于基线（61.23%）及其他消融变体。
• 在CIFAR100上，MetaLDA的Top-1错误率为16.49% ± 0.17%，优于基线（18.53%）及所有消融组件。
• 消融研究显示，MetaLDA中的每一项（比例、方差、距离）均独立贡献于性能提升，完整方法表现最佳。
• 归一化ISDA（NISDA）变体（仅隔离方差项）在六个数据集上优于标准ISDA，证实了方差不平衡校正的重要性。
• 扰动项的可视化显示，随着训练轮次推进，方差和距离不平衡显著降低，验证了该方法在平衡这些因素上的有效性。

Figure 2: Illustrative examples for the four types of imbalance. In (a), the two classes have different proportions of samples; in (b), the two classes have different co-variance matrices; in (c), the middle class has the smallest average inter-class distance; in (d), the two classes have different