[论文解读] Quantifying Overfitting: Introducing the Overfitting Index

Sanad Aburass|arXiv (Cornell University)|Aug 16, 2023

AI in cancer detection被引用 7

一句话总结

本文提出了过拟合指数（OI），这是一种新颖的度量指标，通过比较多种架构在训练和验证性能上的差异，定量衡量模型的过拟合倾向。在使用 MobileNet、U-Net、ResNet、Darknet 和 ViT-32 的 BUS 和 MNIST 数据集上进行评估，OI 揭示了与架构相关的过拟合模式，并表明数据增强显著降低了过拟合，尤其是在小型、专业化的数据集上。

ABSTRACT

In the rapidly evolving domain of machine learning, ensuring model generalizability remains a quintessential challenge. Overfitting, where a model exhibits superior performance on training data but falters on unseen data, is a recurrent concern. This paper introduces the Overfitting Index (OI), a novel metric devised to quantitatively assess a model's tendency to overfit. Through extensive experiments on the Breast Ultrasound Images Dataset (BUS) and the MNIST dataset using architectures such as MobileNet, U-Net, ResNet, Darknet, and ViT-32, we illustrate the utility and discernment of the OI. Our results underscore the variable overfitting behaviors across architectures and highlight the mitigative impact of data augmentation, especially on smaller and more specialized datasets. The ViT-32's performance on MNIST further emphasizes the robustness of certain models and the dataset's comprehensive nature. By providing an objective lens to gauge overfitting, the OI offers a promising avenue to advance model optimization and ensure real-world efficacy.

研究动机与目标

• 为解决机器学习中，特别是计算机视觉应用中持续存在的模型过拟合挑战。
• 开发一种标准化的、定量的度量指标，用于衡量不同神经网络架构的过拟合倾向。
• 评估数据增强在小型和专业化数据集上对过拟合的影响。
• 评估新兴架构如 ViT-32 在非传统数据集（如 MNIST）上的泛化行为。
• 通过客观量化过拟合风险，为模型优化和实际部署提供实用工具。

提出的方法

• 过拟合指数（OI）计算为训练损失或准确率与验证损失或准确率之间的归一化差异，并缩放至 [0,1] 范围。
• OI 按每个训练周期计算，并在多次训练运行中聚合，以获得反映整体过拟合倾向的单一评分。
• 实验在乳腺超声图像（BUS）和 MNIST 数据集上进行，使用五种架构：MobileNet、U-Net、ResNet、Darknet 和 ViT-32。
• 系统性地应用数据增强，并测量其对 OI 的影响，以评估其缓解潜力。
• 通过分类和分割任务评估 OI，以确保其在不同任务上的稳健性。
• 通过统计分析比较不同架构和数据增强策略下的 OI 值，以识别趋势。

实验结果

研究问题

• RQ1 过拟合指数（OI）如何量化并区分不同深度学习架构的过拟合倾向？
• RQ2 在小型和专业化数据集上，数据增强在 OI 测量下在多大程度上减少了过拟合？
• RQ3 ViT-32 架构在 MNIST 上的过拟合表现如何？这揭示了关于 Transformer 泛化的哪些信息？
• RQ4 OI 是否可作为可靠、客观的度量指标，用于比较不同训练策略下模型的泛化性能？
• RQ5 OI 所捕捉到的过拟合行为中，架构相关与数据相关的模式是什么？

主要发现

• 过拟合指数成功量化并区分了不同架构的过拟合倾向，揭示了 ViT-32 在 MNIST 上的过拟合程度低于传统 CNN。
• 数据增强在所有架构上均一致降低了 OI，尤其在较小的 BUS 数据集上改善最为显著。
• U-Net 和 ResNet 在 BUS 上表现出较高的 OI 值，表明其对过拟合更为敏感，尤其是在未使用数据增强时。
• OI 与泛化性能表现出强相关性，验证了其作为过拟合风险可靠代理指标的有效性。
• MobileNet 和 Darknet 展现出中等 OI 值，表明其在模型容量与泛化能力之间取得良好平衡，尤其是在数据增强后。
• OI 突显出，即使在相同数据集上训练，模型架构的选择也会显著影响过拟合行为。