[论文解读] Overly Optimistic Prediction Results on Imbalanced Data: Flaws and Benefits of Applying Over-sampling.

Gilles Vandewiele, Isabelle Dehaene+10 more|arXiv (Cornell University)|Jan 15, 2020

Neonatal and fetal brain pathology被引用 9

一句话总结

本文揭示了在使用不平衡的电子宫缩图数据进行机器学习研究时存在一个关键的方法论缺陷：在将数据划分为训练集和测试集之前进行过采样，会导致性能估计过于乐观。通过人工数据集和真实世界结果的复现，作者证明了在划分数据之前进行过采样会引发数据泄露，从而夸大模型性能，损害泛化能力。文章主张应先正确划分数据，再对训练集应用过采样，以确保评估的有效性。

ABSTRACT

Information extracted from electrohysterography recordings could potentially prove to be an interesting additional source of information to estimate the risk on preterm birth. Recently, a large number of studies have reported near-perfect results to distinguish between recordings of patients that will deliver term or preterm using a public resource, called the Term/Preterm Electrohysterogram database. However, we argue that these results are overly optimistic due to a methodological flaw being made. In this work, we focus on one specific type of methodological flaw: applying over-sampling before partitioning the data into mutually exclusive training and testing sets. We show how this causes the results to be biased using two artificial datasets and reproduce results of studies in which this flaw was identified. Moreover, we evaluate the actual impact of over-sampling on predictive performance, when applied prior to data partitioning, using the same methodologies of related studies, to provide a realistic view of these methodologies' generalization capabilities. We make our research reproducible by providing all the code under an open license.

研究动机与目标

• 调查在数据划分之前应用过采样对不平衡数据集中模型性能评估的影响。
• 证明在使用Term/Preterm电子宫缩图数据库的研究中，该做法会导致预测结果过于乐观且存在偏差。
• 在正确应用过采样的情况下，提供对过采样实际提升预测性能的现实评估。
• 通过倡导在应用过采样前先正确划分数据的顺序，推动方法论的严谨性。
• 通过在开放许可证下发布所有代码，确保可复现性。

提出的方法

• 作者构建了两个具有受控类别不平衡的人工数据集，以模拟现实世界中的数据分布问题。
• 在将数据划分为训练集和测试集之前应用过采样技术（如SMOTE或随机过采样），以引发数据泄露。
• 复现了先前发表研究中使用该有缺陷方法的结果，以验证性能指标中的偏差。
• 在正确划分数据的顺序下重新评估相同的方法论——即先划分数据，然后仅对训练集应用过采样。
• 使用标准评估指标（如AUC、准确率）比较有缺陷和正确工作流下的性能表现。
• 所有实验均使用开源代码实现，以确保可复现性和透明度。

实验结果

研究问题

• RQ1 在数据划分之前应用过采样是否会导致不平衡数据集中性能估计出现偏差且过于乐观？
• RQ2 在使用Term/Preterm电子宫缩图数据库的研究中，这种有缺陷的方法论在多大程度上夸大了报告的预测性能？
• RQ3 当过采样在正确划分数据后应用时，其实际性能与在划分前应用相比如何？
• RQ4 通过修正数据处理方式，能否复现先前研究中使用的方法，从而揭示更真实的泛化能力？
• RQ5 在过采样被过早应用时，数据泄露对模型评估有何影响？

主要发现

• 在将数据划分为训练集和测试集之前应用过采样会导致数据泄露，从而产生过于乐观的性能估计。
• 该有缺陷的方法导致AUC和准确率值被夸大，无法反映模型在未见数据上的真实泛化能力。
• 当仅在正确划分后对训练集应用过采样时，性能指标显著下降，表明先前结果具有误导性。
• 通过复现有缺陷的方法，本研究成功再现了先前报告的近乎完美的结果，证实了过度乐观的根源。
• 正确应用的过采样可提升模型鲁棒性，但不会带来近乎完美的性能，从而揭示了模型的真实泛化能力。
• 作者证明，先前研究中观察到的高性能在很大程度上是由于数据处理不当所致，而非模型本身的优势。