[论文解读] Overfitting of neural nets under class imbalance: Analysis and improvements for segmentation

Zeju Li, Konstantinos Kamnitsas+1 more|arXiv (Cornell University)|Jul 25, 2019

Adversarial Robustness in Machine Learning参考文献 7被引用 15

一句话总结

本文指出，在类别不平衡下过拟合会导致分割任务中低频前景类别的logit激活值向决策边界偏移并越过该边界，从而降低模型的敏感度。为解决此问题，本文提出对损失函数和正则化方法进行非对称修改，如大 margin 损失、焦点损失、对抗训练和 mixup，显著提升了性能，尤其在小样本设置下，Dice 系数（DSC）最高提升 12%，脑肿瘤核心分割的敏感度提升 15%。

ABSTRACT

Overfitting in deep learning has been the focus of a number of recent works, yet its exact impact on the behavior of neural networks is not well understood. This study analyzes overfitting by examining how the distribution of logits alters in relation to how much the model overfits. Specifically, we find that when training with few data samples, the distribution of logit activations when processing unseen test samples of an under-represented class tends to shift towards and even across the decision boundary, while the over-represented class seems unaffected. In image segmentation, foreground samples are often heavily under-represented. We observe that sensitivity of the model drops as a result of overfitting, while precision remains mostly stable. Based on our analysis, we derive asymmetric modifications of existing loss functions and regularizers including a large margin loss, focal loss, adversarial training and mixup, which specifically aim at reducing the shift observed when embedding unseen samples of the under-represented class. We study the case of binary segmentation of brain tumor core and show that our proposed simple modifications lead to significantly improved segmentation performance over the symmetric variants.

研究动机与目标

• 分析在图像分割任务中，类别不平衡下的过拟合如何影响深度神经网络的 logit 分布。
• 识别出在推理过程中，由于未见前景类别的 logit 向决策边界偏移，导致其敏感度下降。
• 开发现有损失函数与正则化方法的非对称变体，专门针对低频类别过拟合行为进行优化。
• 在医学图像中常见的低数据、高类别不平衡场景下，提升分割性能，特别是敏感度。
• 通过 logit 分布分析为从业者提供一种诊断工具，用于检测和理解模型的过拟合现象。

提出的方法

• 分析在不同数据量下训练的 CNN 模型最后一层的 logit 分布，对比前景与背景类别的训练样本与测试样本。
• 通过修改其优化目标，提出损失函数与正则化方法的非对称变体——大 margin 损失、焦点损失、对抗训练与 mixup，以优先提升低频类别的鲁棒性。
• 对于大 margin 损失，仅对未见前景样本的 logit 应用非对称 margin，将其从决策边界推开。
• 对于焦点损失，调整聚焦参数以解除对前景样本的约束，防止 logit 在边界附近饱和。
• 对于对抗训练，仅对前景样本施加扰动，以提升其泛化能力。
• 对于 mixup，通过偏向前景样本进行插值，生成更具鲁棒性的嵌入，并将决策边界从前景类远离。

实验结果

研究问题

• RQ1 在图像分割任务中，类别不平衡下的过拟合如何影响深度神经网络的 logit 激活分布？
• RQ2 为何在精度保持稳定的情况下，未见前景类别的敏感度在推理过程中仍会下降？
• RQ3 对称的损失函数与正则化方法在多大程度上无法解决类别不平衡分割中的 logit 偏移问题？
• RQ4 对现有正则化技术进行非对称修改，是否能有效减少 logit 偏移并提升小样本设置下的敏感度？
• RQ5 在不同训练数据量下，所提出的非对称方法与对称基线在 DSC、敏感度与精度方面相比如何？

主要发现

• 在仅使用 5% 训练数据时，标准交叉熵训练的敏感度降至 43%，而精度仍保持在 79% 的高水平，表明因过拟合导致敏感度下降。
• 当使用 5% 数据训练时，未见前景样本的平均 logit 激活值显著向决策边界偏移（Δẑ = 0.88），导致假阴性。
• 非对称大 margin 损失在 5% 数据下将 DSC 从 0.51 提升至 0.55，敏感度从 0.43 提升至 0.51，优于对称变体。
• 非对称 mixup 效果最佳，在 5% 数据下将 DSC 提升至 0.59，敏感度提升至 0.58，相较基线实现 12% 的敏感度相对提升。
• 四种非对称技术联合使用时，在 5% 数据下达到 DSC 0.62 和敏感度 0.66，相较原始交叉熵实现 22% 的敏感度相对提升。
• logit 分布分析表明，对称方法无法防止前景 logit 偏移，而非对称变体能有效维持未见前景样本的正向 logit 值。