[论文解读] Predicting student performance using data from an auto-grading system

Huanyi Chen, Paul A. S. Ward|arXiv (Cornell University)|Feb 2, 2021

Online Learning and Analytics被引用 7

一句话总结

本研究利用编程课程中 Marmoset 自动评分系统的数据，通过决策树和线性回归预测学生表现。提交时间间隔（即学生首次合理提交与截止时间之间的时间差）成为识别表现不佳学生的最强预测因子，在精确率和 F1 值方面优于其他特征。

ABSTRACT

As online auto-grading systems appear, information obtained from those systems can potentially enable researchers to create predictive models to predict student behaviour and performances. In the University of Waterloo, the ECE 150 (Fundamentals of Programming) Instructional Team wants to get an insight into how to allocate the limited teaching resources better to achieve improved educational outcomes. Currently, the Instructional Team allocates tutoring time in a reactive basis. They help students "as-requested". This approach serves those students with the wherewithal to request help; however, many of the students who are struggling do not reach out for assistance. Therefore, we, as the Research Team, want to explore if we can determine students which need help by looking into the data from our auto-grading system, Marmoset. In this paper, we conducted experiments building decision-tree and linear-regression models with various features extracted from the Marmoset auto-grading system, including passing rate, testcase outcomes, number of submissions and submission time intervals (the time interval between the student's first reasonable submission and the deadline). For each feature, we interpreted the result at the confusion matrix level. Specifically for poor-performance students, we show that the linear-regression model using submission time intervals performs the best among all models in terms of Precision and F-Measure. We also show that for students who are misclassified into poor-performance students, they have the lowest actual grades in the linear-regression model among all models. In addition, we show that for the midterm, the submission time interval of the last assignment before the midterm predicts the midterm performance the most. However, for the final exam, the midterm performance contributes the most on the final exam performance.

研究动机与目标

• 探究自动评分系统数据是否能够预测编程课程中的学生表现。
• 识别学生提交行为中与期中和期末考试结果相关的模式。
• 通过预测高风险学生，实现在其失败前主动分配教学资源。

提出的方法

• 收集了包括通过率、测试用例结果、提交次数以及提交时间间隔（STI）在内的 Marmoset 自动评分数据。
• 应用 C4.5 决策树算法，基于考试成绩将学生分类为表现优秀、满意和较差三类。
• 使用线性回归模型，以 STI 作为关键特征，预测期中和期末考试的数值分数。
• 通过精确率、召回率、F1 值和平均绝对误差评估模型性能，重点关注被错误分类为表现较差的学生。
• 比较不同作业和考试中各特征的重要性，以识别关键的预测时间窗口。
• 将预测的数值成绩转换为表现类别，以评估模型在表现较差学生上的分类性能。

实验结果

研究问题

• RQ1 基于提交行为，Marmoset 自动评分数据能否预测学生表现类别（优秀、满意、较差）？
• RQ2 能否使用来自自动评分系统日志的特征来预测期中和期末考试的数值分数？
• RQ3 哪些 Marmoset 特征（例如提交时间间隔、测试用例结果）最能预测学生表现？
• RQ4 提交时间相对于截止时间的分布如何与考试表现相关？
• RQ5 提交时间间隔（STI）在识别高风险学生方面的预测能力如何？

主要发现

• 基于 STI 的线性回归模型在预测期中和期末考试中表现较差的学生时，精确率和 F1 值均达到最高。
• 被 STI 基线线性回归模型错误预测为表现较差的学生，其实际成绩最低，表明该模型具有更好的校准性。
• 在预测期中成绩时，考试前一题目的相关性最高（r = 0.72）。
• 在预测期末考试成绩时，期中成绩与最终成绩的相关性最强（r = 0.72）。
• 线性回归模型预测期中成绩的平均误差为 -5.76 分（标准差 = 16.44），预测期末成绩的平均误差为 +0.92 分（标准差 = 17.12）。
• 基于通过率和测试用例结果的决策树模型表现出显著偏差，在期中成绩预测中未能正确识别出任何表现较差的学生。