[论文解读] Predicting Student Performance Based on Online Study Habits: A Study of Blended Courses

Adithya Sheshadri, Niki Gitinabard+3 more|arXiv (Cornell University)|Apr 15, 2019

Online Learning and Analytics被引用 19

一句话总结

本研究分析了三门混合式计算机科学课程中，学生在四个平台（LMS、论坛、版本控制和作业系统）上的在线学习习惯，以预测其学业表现。研究发现，学生通常一次只使用一个平台，围绕截止日期表现出可预测的会话模式，且早期行为特征（如会话间隔）能中等准确度地预测最终成绩。

ABSTRACT

Online tools provide unique access to research students' study habits and problem-solving behavior. In MOOCs, this online data can be used to inform instructors and to provide automatic guidance to students. However, these techniques may not apply in blended courses with face to face and online components. We report on a study of integrated user-system interaction logs from 3 computer science courses using four online systems: LMS, forum, version control, and homework system. Our results show that students rarely work across platforms in a single session, and that final class performance can be predicted from students' system use.

研究动机与目标

• 分析学生在混合式课程中使用多个在线学习平台的方式，并识别其学习行为的模式。
• 确定学生是在单次会话中同时使用多个平台，还是专注于单一平台。
• 探究学习习惯是否遵循与课程截止日期相关的可预测模式。
• 评估在线学习行为是否可用于预测最终课程表现，并具备早期检测潜力。
• 通过分析日志交互数据，识别有效与无效学习习惯，以支持自动化反馈或教师支持。

提出的方法

• 从四个平台收集并整合异构的用户-系统交互日志：Moodle（LMS）、Piazza（论坛）、GitHub Enterprise（版本控制）和WebAssign（作业系统）。
• 使用经验性的时间间隔阈值，将个体操作聚类为学习会话和浏览器会话。
• 根据最终课程成绩，将学生划分为表现组别（如高分组与低分组）。
• 提取行为特征，如会话频率、持续时间、会话间间隔以及与截止日期的时间关系。
• 使用早期学期的行为特征训练机器学习分类器（如逻辑回归、随机森林），以预测最终表现。
• 通过交叉验证验证预测结果，并评估特征重要性，以识别最具预测性的行为。

实验结果

研究问题

• RQ1 学生是否在单次会话中专注于一个工具，还是同时使用多个平台？
• RQ2 学生的在线学习习惯是否遵循与课程截止日期相关的清晰模式？
• RQ3 是否可以利用学生观察到的学习习惯来预测其最终课程表现？

主要发现

• 学生主要一次只使用一个平台，单次会话中跨平台活动极少，表明存在显著的平台孤岛现象。
• 学习会话和浏览器会话的数量在课程截止日期前显著上升，之后迅速下降，显示出一致的、以截止日期为导向的行为模式。
• 关键行为特征（如会话间平均间隔和会话频率）与最终成绩显著相关，即使在课程初期几周内测量也具有预测力。
• 基于早期学期行为数据训练的预测模型在预测最终表现方面达到了合理的准确度，显示出早期干预的潜力。
• 最具预测性的特征与参与的时间和一致性有关，如每日稳定活动和减少的会话间隔，而非总使用量。
• 尽管面对面活动的记录不完整，但整合的在线数据已提供足够的信号，实现有意义的表现预测。