[论文解读] Time Series Analysis of Clickstream Logs from Online Courses

Yohan Jo, Keith Maki+1 more|arXiv (Cornell University)|Sep 11, 2018

Online Learning and Analytics参考文献 16被引用 7

一句话总结

本文通过分析在线课程的点击流日志，采用LSTM和图模型对学习者行为进行时间序列建模，以预测最终成绩。结果表明，引入序列点击模式可显著提升预测准确率，其中LSTM优于基线模型，并在不同课程间具有良好泛化能力。

ABSTRACT

Due to the rapidly rising popularity of Massive Open Online Courses (MOOCs), there is a growing demand for scalable automated support technologies for student learning. Transferring traditional educational resources to online contexts has become an increasingly relevant problem in recent years. For learning science theories to be applicable, educators need a way to identify learning behaviors of students which contribute to learning outcomes, and use them to design and provide personalized intervention support to the students. Click logs are an important source of information about students' learning behaviors, however current literature has limited understanding of how these behaviors are represented within click logs. In this project, we have exploited the temporal dynamics of student behaviors both to do behavior modeling via graphical modeling approaches and to do performance prediction via recurrent neural network approaches in order to first identify student behaviors and then use them to predict their final outcome in the course. Our experiments showed that the long short-term memory (LSTM) model is capable of learning long-term dependencies in a sequence and outperforms other strong baselines in the prediction task. Further, these sequential approaches to click log analysis can be successfully imported to other courses when used with results obtained from graphical model behavior modeling.

研究动机与目标

• 通过静态与动态聚类方法，从在线课程的点击流日志中建模学习者的学习行为。
• 探究点击序列中的时间动态是否能提升对最终课程成绩的预测性能，相较于非序列化方法。
• 开发一种与课程无关的行为表征方法，实现在不同MOOC中的泛化。
• 识别高分与低分学习者在序列行为上的关键差异。
• 评估深度学习（LSTM）与传统模型在捕捉学习者点击序列长期依赖关系方面的有效性。

提出的方法

• 使用多项式混合模型（MMM）和隐马尔可夫模型（HMM）将点击片段聚类为行为状态，以建模静态与动态模式。
• 应用长短期记忆（LSTM）网络对点击序列中的时间依赖性进行建模，以实现性能预测。
• 将序列感知模型（LSTM、HMM）与序列无关模型（SVM、MLP、MMM）进行比较，使用从点击模式中提取的特征。
• 从HMM和MMM中提取状态级特征以表征学生行为，实现跨课程的泛化。
• 在两门Coursera课程（代数与微积分预备课程）上评估模型，通过不同点击次数与状态数来检验模型的鲁棒性与泛化能力。
• 以分类性能（F1-score）为主要指标，比较不同特征集与序列长度下的模型表现。

实验结果

研究问题

• RQ1 能否有效建模学习者点击流序列中的时间动态，以提升在线课程中的表现预测？
• RQ2 序列感知模型（如LSTM）与非序列模型（如SVM、MLP）在预测最终课程成绩方面表现如何比较？
• RQ3 从一门课程中学到的行为模式在多大程度上可泛化到其他课程？
• RQ4 在在线学习环境中，高分与低分学习者在序列行为上存在哪些显著差异？
• RQ5 图模型（HMM、MMM）相较于原始点击特征，是否能提供更优的行为表征以实现跨课程泛化？

主要发现

• LSTM模型在预测最终课程成绩方面优于所有强基线模型，在微积分课程上达到89.46的F1-score，在代数课程上达到88.26。
• 序列感知模型（LSTM、HMM）在分类准确率与跨课程泛化能力方面显著优于序列无关模型（SVM、MLP）。
• LSTM模型在其他课程上表现出良好的泛化能力，当在一门课程上训练并在另一门课程上测试时性能进一步提升，表明所学序列模式具有可迁移性。
• 高分学生表现出积极参与论坛讨论与完成测验的行为，而低分学生则倾向于观看或下载课程视频但未完成评估任务。
• 原始点击特征最具信息量但具有课程特异性；点击类别具有可泛化性但预测能力较弱，凸显时间建模的价值。
• 在点击序列中引入时间信息可捕捉到静态点击计数或类别特征所无法体现的与表现相关的时间动态。