[论文解读] Striking the Right Balance with Uncertainty

Salman Khan, Munawar Hayat+3 more|arXiv (Cornell University)|Jan 22, 2019

Imbalanced Data Classification Techniques参考文献 59被引用 31

一句话总结

该论文提出了一种基于不确定性的新颖框架，通过利用贝叶斯不确定性估计动态调整决策边界，在长尾分布的数据集上学习鲁棒分类器。该方法为稀有类别强制实现更大的间隔，并将样本建模为多元高斯分布以提升泛化能力，在面部验证、属性预测和皮肤病变检测的六个基准数据集上实现了最先进性能。

ABSTRACT

Learning unbiased models on imbalanced datasets is a significant challenge. Rare classes tend to get a concentrated representation in the classification space which hampers the generalization of learned boundaries to new test examples. In this paper, we demonstrate that the Bayesian uncertainty estimates directly correlate with the rarity of classes and the difficulty level of individual samples. Subsequently, we present a novel framework for uncertainty based class imbalance learning that follows two key insights: First, classification boundaries should be extended further away from a more uncertain (rare) class to avoid overfitting and enhance its generalization. Second, each sample should be modeled as a multi-variate Gaussian distribution with a mean vector and a covariance matrix defined by the sample's uncertainty. The learned boundaries should respect not only the individual samples but also their distribution in the feature space. Our proposed approach efficiently utilizes sample and class uncertainty information to learn robust features and more generalizable classifiers. We systematically study the class imbalance problem and derive a novel loss formulation for max-margin learning based on Bayesian uncertainty measure. The proposed method shows significant performance improvements on six benchmark datasets for face verification, attribute prediction, digit/object classification and skin lesion detection.

研究动机与目标

• 解决在长尾分布、类别不平衡的数据集中学习无偏分类器的挑战，其中稀有类别因泛化能力差而表现不佳。
• 探究贝叶斯不确定性估计与分类中类别稀有性或样本难度之间的内在关联。
• 开发一种可微分的损失公式，根据类别级别和样本级别的不确定性自适应调整决策边界。
• 通过基于不确定性的间隔强化方法扩展低频类别的分类区域，从而提升其泛化能力。

提出的方法

• 提出一种基于贝叶斯不确定性估计的系统性间隔强化损失，其中类别级别的不确定性决定对稀有类别进行间隔扩展的程度。
• 将每个样本建模为多元高斯分布，其均值和协方差由其不确定性推导得出，从而实现对二阶矩的感知边界优化。
• 构建一种完全可微分的损失函数，将类别级别和样本级别的不确定性整合进Softmax目标中，与标准深度神经网络兼容。
• 使用Dropout作为贝叶斯近似以估计不确定性，消融实验表明在0.3至0.5的Dropout率下性能最佳。
• 用基于不确定性的值替代ArcFace或SphereFace等模型中的固定间隔超参数，以提升对难样本和稀有样本的判别能力。
• 在包括面部验证、属性预测和皮肤病变检测在内的多样化基准数据集上应用该方法，均展现出一致的性能提升。

实验结果

研究问题

• RQ1 贝叶斯不确定性估计是否可被可靠地用于识别类别不平衡分类中的稀有类别和困难样本？
• RQ2 对不确定性较高的（稀有）类别施加更大的决策间隔，是否能提升在未见测试数据上的泛化能力？
• RQ3 通过基于不确定性的协方差将样本建模为多元高斯分布，是否能提升分类器的鲁棒性？
• RQ4 在长尾数据集上，基于不确定性的间隔强化方法与传统代价敏感学习或数据增强方法相比表现如何？
• RQ5 在多种视觉基准数据集中，基于不确定性的损失重加权在多大程度上提升了稀有类别的性能？

主要发现

• 所提方法在六个基准数据集上实现了最先进性能，包括在类别不平衡的CIFAR-10上F1提升4.5、召回率提升3.9。
• 对于样本数最少的前50%最不平衡类别（即稀有类别），该方法在20个类别中有16个类别（80%）表现最佳，显示出在稀有类别上的显著优势。
• 消融实验证实，将基于不确定性的间隔强化（UMM）与样本级别不确定性建模（SUM）相结合可获得最高性能（在类别不平衡的MNIST上准确率达98.7%）。
• 将ArcFace和SphereFace中的固定间隔超参数替换为不确定性估计值，可在所有测试损失变体中实现一致的性能提升。
• 最优性能出现在0.3至0.5的Dropout率之间；过高或过低的Dropout率均导致性能下降，表明对不确定性估计质量具有敏感性。
• 该方法降低了各类别之间的得分偏差，表明性能更加均衡，且显著提升了低频类别在未见数据上的泛化能力。