[论文解读] Predicting Academic Performance for College Students: A Campus Behavior Perspective

Huaxiu Yao, Defu Lian+3 more|arXiv (Cornell University)|Mar 15, 2019

Online Learning and Analytics参考文献 39被引用 8

一句话总结

本文提出了一种多任务学习排序框架（MTLTR-APP），利用纵向校园一卡通数据预测大学生学业表现，识别出勤奋度、规律性和睡眠模式作为关键行为预测因子。该模型利用跨学期与跨专业间的相关性以及学生相似性，实现了最高达0.513的斯皮尔曼等级相关系数，用于学业表现预测。

ABSTRACT

Detecting abnormal behaviors of students in time and providing personalized intervention and guidance at the early stage is important in educational management. Academic performance prediction is an important building block to enabling this pre-intervention and guidance. Most of the previous studies are based on questionnaire surveys and self-reports, which suffer from small sample size and social desirability bias. In this paper, we collect longitudinal behavioral data from 6,597 students' smart cards and propose three major types of discriminative behavioral factors, diligence, orderliness, and sleep patterns. Empirical analysis demonstrates these behavioral factors are strongly correlated with academic performance. Furthermore, motivated by social influence theory, we analyze the correlation between each student's academic performance with his/her behaviorally similar students'. Statistical tests indicate this correlation is significant. Based on these factors, we further build a multi-task predictive framework based on a learning-to-rank algorithm for academic performance prediction. This framework captures inter-semester correlation, inter-major correlation and integrates student similarity to predict students' academic performance. The experiments on a large-scale real-world dataset show the effectiveness of our methods for predicting academic performance and the effectiveness of proposed behavioral factors.

研究动机与目标

• 通过利用校园一卡通产生的真实、无感行为数据，解决自报数据在学业表现预测中的局限性。
• 识别并量化与学业表现强相关的的行为因素——勤奋度、规律性和睡眠模式。
• 利用多任务学习框架，建模学业表现预测中的跨学期与跨专业依赖关系。
• 基于共现行为模式引入学生相似性，以提升预测准确性。
• 开发一种可扩展、实时的预测系统，用于教育管理中的早期干预。

提出的方法

• 收集了6,597名学生近三年内，在图书馆、宿舍、食堂和教学楼等场所的一卡通交易行为数据，形成纵向行为数据集。
• 将勤奋度量化为在学习时段内滞留校园的时间，规律性量化为日常作息的规律程度，睡眠模式则基于首次和最后一次刷卡时间确定。
• 采用多任务学习排序框架（MTLTR-APP），通过序列平滑正则化建模跨学期的时间相关性。
• 通过在相关院系间共享模型参数，引入跨专业相关性。
• 提出基于共现模式的学生相似性正则化项，以增强模型泛化能力与预测准确性。
• 通过t检验与敏感性分析优化模型超参数，确定最优正则化系数（λs = 1.0，ξ ≈ 0.2）。

实验结果

研究问题

• RQ1 从一卡通数据中提取的勤奋度、规律性和睡眠模式与学业表现之间存在何种相关性？
• RQ2 行为相似的学生学业表现相关程度如何？该相关性是否可用于提升预测效果？
• RQ3 多任务学习排序框架能否有效建模学业表现预测中的跨学期与跨专业依赖关系？
• RQ4 当单独使用或组合使用这些行为因素时，其预测能力有何差异？
• RQ5 为提升预测鲁棒性与准确性，正则化项的最佳配置是什么？

主要发现

• 勤奋度因子在各学期与学业表现呈现显著的负向斯皮尔曼相关性（-0.308），表明勤奋度越高，学业成绩越好。
• 引入规律性和睡眠模式后，预测性能得到提升，最佳模型（包含全部三项）在第五学期实现了0.513的斯皮尔曼相关系数。
• 学业表现与行为相似同伴之间存在显著相关性，经t检验验证，证实了社会影响效应在学业结果中的存在。
• 序列平滑正则化（λs = 1.0）显著提升了模型性能，有效捕捉了学业表现的跨学期趋势。
• 学业表现相似性正则化（ξ ≈ 0.2）增强了预测准确性，证明了基于同伴建模的价值。
• MTLTR-APP框架优于基线模型，在不同专业与学期中均表现出鲁棒性，即使在小专业中数据有限时亦表现良好。