[论文解读] ReMix: Calibrated Resampling for Class Imbalance in Deep learning

Colin Bellinger, Roberto Corizzo+1 more|arXiv (Cornell University)|Dec 3, 2020

Imbalanced Data Classification Techniques参考文献 31被引用 9

一句话总结

ReMix 是一种数据高效、校准感知的深度学习训练方法，适用于类别不平衡的数据集，通过结合小批量重采样、基于凸组合的特征混合以及软标签分配，有效降低偏差并提升模型校准性能。在表格数据、图像数据和多分类数据上，ReMix 在预测性能（g-mean）和校准性（均衡 Brier 评分）方面均优于 SMOTE、MixUp 和代价调整方法。

ABSTRACT

Class imbalance is a problem of significant importance in applied deep learning where trained models are exploited for decision support and automated decisions in critical areas such as health and medicine, transportation, and finance. The challenge of learning deep models from imbalanced training data remains high, and the state-of-the-art solutions are typically data dependent and primarily focused on image data. Real-world imbalanced classification problems, however, are much more diverse thus necessitating a general solution that can be applied to tabular, image and text data. In this paper, we propose ReMix, a training technique that leverages batch resampling, instance mixing and soft-labels to enable the induction of robust deep models for imbalanced learning. Our results show that dense nets and CNNs trained with ReMix generally outperform the alternatives according to the g-mean and are better calibrated according to the balanced Brier score.

研究动机与目标

• 解决深度学习在多样化数据类型（表格、图像、文本）中类别不平衡问题时，缺乏通用且校准感知的解决方案的问题。
• 克服 SMOTE 和基于 GAN 的过采样方法的局限性，后者存在分布收缩、计算成本高以及校准性差的问题。
• 通过减少对多数类的预测偏差，同时增强少数类的校准性，提升模型的鲁棒性和公平性。
• 开发一种计算高效、易于实现且在多个领域均有效的通用方法，无需依赖特定领域的数据增强。
• 通过提升可靠性与决策一致性，使深度学习在医疗、金融和交通等高风险应用中可安全部署。

提出的方法

• ReMix 通过从真实数据点周围的邻域分布 ν(⋅) 中采样构造小批量数据，确保每个小批量中类别近似平衡。
• 采用凸组合（类似 MixUp）混合真实样本的特征，生成位于特征空间中的合成数据点。
• 软标签被设定为原始类别标签的加权平均值，以促进平滑的决策边界并改善校准性。
• 混合参数 α 控制插值强度；经实验发现 α = 0.3 在性能与校准性之间取得最佳平衡。
• 重采样在每个小批量内进行，避免对全数据集进行预处理，降低因重复采样导致的过拟合风险。
• 该方法与标准深度学习框架兼容，仅引入极低的计算开销。

实验结果

研究问题

• RQ1 一种简单、通用的训练技术是否能同时提升多样化数据类型中不平衡深度学习的预测性能与校准性？
• RQ2 在表格数据和图像数据集上，ReMix 与 SMOTE 和 MixUp 在 g-mean 和均衡 Brier 评分方面的表现如何比较？
• RQ3 在类别不平衡设置下，混合超参数 α 对模型性能与校准性的影响是什么？
• RQ4 ReMix 是否能有效处理多分类问题，而不会在不相似类别之间引入有害的插值？
• RQ5 当缺乏特定领域数据增强或其成本过高时，ReMix 是否仍保持有效性？

主要发现

• 在所有评估的数据集上，ReMix 的 g-mean 均显著优于 SMOTE 和 MixUp，包括 Musk 2、Epileptic Seizure 和 CIFAR-10。
• ReMix 在校准性方面表现更优，尤其在较高 α 值（如 α = 0.3）时，均衡 Brier 评分显著降低，预测不确定性减少。
• 敏感性分析表明，α = 0.3 在 g-mean 稳定性与 BBS 改进之间取得最优权衡，且在各数据集上性能下降最小。
• 在 Epileptic Seizure 数据集上，当类别不平衡比超过 100:1 时，ReMix（α = 0.3）在 g-mean 上实现了显著提升。
• 在多分类设置中，ReMix 性能略有下降，主要源于噪声插值，但通过降低 α 值以更偏好原始样本可有效缓解此问题。
• 图像分类结果表明，结合数据增强的 ReMix（ReMix (Aug)）性能最佳，表明整合领域特定增强可进一步提升效果。