[论文解读] Predicting Louisiana Public High School Dropout through Imbalanced Learning Techniques

Marmar Orooji, Jianhua Chen|arXiv (Cornell University)|Oct 29, 2019

Imbalanced Data Classification Techniques参考文献 9被引用 5

一句话总结

本研究在路易斯安那州公立高中数据集（n > 366k）上开发并评估了不平衡学习技术——重采样、案例加权和代价敏感学习——以改善对罕见类别（学生辍学）的预测。尽管这些方法显著提升了对高风险学生的召回率，但降低了精确率；总体而言，不平衡学习提高了辍学学生的检测能力，但需进一步优化以在不牺牲召回率的前提下提升精确率。

ABSTRACT

This study is motivated by the magnitude of the problem of Louisiana high school dropout and its negative impacts on individual and public well-being. Our goal is to predict students who are at risk of high school dropout, by examining Louisiana administrative dataset. Due to the imbalanced nature of the dataset, imbalanced learning techniques including resampling, case weighting, and cost-sensitive learning have been applied to enhance the prediction performance on the rare class. Performance metrics used in this study are F-measure, recall and precision of the rare class. We compare the performance of several machine learning algorithms such as neural networks, decision trees and bagging trees in combination with the imbalanced learning approaches using an administrative dataset of size of 366k+ from Louisiana Department of Education. Experiments show that application of imbalanced learning methods produces good results on recall but decreases precision, whereas base classifiers without regard of imbalanced data handling gives better precision but poor recall. Overall application of imbalanced learning techniques is beneficial, yet more studies are desired to improve precision.

研究动机与目标

• 为应对路易斯安那州高中辍学预测这一关键问题，该问题影响个人与公共福祉。
• 在不平衡的行政数据集中，提升机器学习模型对罕见类别（辍学）的性能表现。
• 评估不平衡学习技术（重采样、案例加权和代价敏感学习）在辍学预测中的有效性。
• 比较多种基础分类器（神经网络、决策树、集成树）与这些技术结合后的表现。

提出的方法

• 本研究使用路易斯安那州教育部提供的超过366,000名公立高中学生的行政数据集。
• 应用不平衡学习技术以解决类别不平衡问题：基于SMOTE的重采样、类别加权和代价敏感学习。
• 训练并评估了多种机器学习模型——神经网络、决策树和集成树——在有无不平衡学习方法的情况下的表现。
• 通过F1值、罕见类别（辍学）的召回率和精确率来衡量性能。
• 模型基于历史学生数据进行训练与测试，包括人口统计、学业和出勤特征。
• 实验比较了不同算法与不平衡学习策略组合下的模型性能。

实验结果

研究问题

• RQ1 在真实世界教育数据集中，不平衡学习技术如何影响高中辍学的预测？
• RQ2 在结合不平衡学习方法时，哪种机器学习算法——神经网络、决策树或集成树——在辍学预测中表现最佳？
• RQ3 重采样、案例加权和代价敏感学习在多大程度上提升了罕见辍学类别的召回率和F1值？
• RQ4 在该问题中应用不平衡学习技术时，精确率与召回率之间存在何种权衡？
• RQ5 与标准模型相比，不平衡学习方法能否显著提升对高风险学生的检测能力？

主要发现

• 不平衡学习技术显著提升了罕见辍学类别的召回率，表明对高风险学生的检测能力得到改善。
• 应用不平衡学习方法导致精确率明显下降，表明误报数量增加。
• 未采用不平衡数据处理的基础分类器虽然精确率较高，但召回率表现差，凸显了专用技术的必要性。
• 在所评估的模型中，集成树结合不平衡学习在召回率与F1值之间表现出良好的平衡。
• 本研究证实，不平衡学习整体上具有优势，但精确率仍是亟待进一步研究的挑战。
• 结果表明，标准模型因类别不平衡而无法检测出大量真实辍学学生，凸显了定制化方法的必要性。