[论文解读] Time-Series Insights into the Process of Passing or Failing Online University Courses Using Neural-Induced Interpretable Student States.

Byungsoo Jeon, Eyal Shafran+3 more|arXiv (Cornell University)|May 1, 2019

Online Learning and Analytics被引用 1

一句话总结

本文提出了一种时间序列模型，通过整合来自人类导师的点击流数据和文本笔记，生成可解释的、动态演变的学生状态表征，用于预测在线课程的退课风险。通过引入导师笔记中的自然语言信号，该模型在提升预测准确率的同时增强了对学生参与度轨迹的可解释性。

ABSTRACT

This paper addresses a key challenge in Educational Data Mining, namely to model student behavioral trajectories in order to provide a means for identifying students most at-risk, with the goal of providing supportive interventions. While many forms of data including clickstream data or data from sensors have been used extensively in time series models for such purposes, in this paper we explore the use of textual data, which is sometimes available in the records of students at large, online universities. We propose a time series model that constructs an evolving student state representation using both clickstream data and a signal extracted from the textual notes recorded by human mentors assigned to each student. We explore how the addition of this textual data improves both the predictive power of student states for the purpose of identifying students at risk for course failure as well as for providing interpretable insights about student course engagement processes.

研究动机与目标

• 解决利用时间序列建模行为数据来识别在线大学课程中高风险学生的问题。
• 探索文本数据（特别是导师记录的笔记）作为点击流数据的补充信号，在学生状态建模中的潜力。
• 在提升学生状态表征对课程失败的预测能力的同时，增强对学生参与模式的可解释性。
• 为及时开展学术干预提供可操作的、可解释的学生行为轨迹洞察。

提出的方法

• 该模型通过融合点击流数据和人类导师撰写的文本笔记的嵌入向量，构建动态的学生状态表征。
• 使用自然语言处理（NLP）技术处理文本笔记，提取语义信号，并将其与点击流特征一同嵌入共享的潜在空间。
• 采用基于循环神经网络（RNN）的架构，对课程持续期间的学生状态演变进行建模。
• 应用可解释的注意力机制，突出显示影响预测结果的关键行为与文本信号。
• 模型采用端到端方式训练，以预测最终课程结果（通过/失败），同时保持对贡献因素的可解释性。
• 通过标准指标（如AUC-ROC和精确率-召回率）评估模型性能，并通过消融研究隔离文本数据的影响。

实验结果

研究问题

• RQ1 将导师撰写的文本笔记纳入模型后，对学生状态模型的预测准确率有何提升？
• RQ2 导师提供的文本信号在多大程度上增强了对学生参与度轨迹的可解释性？
• RQ3 点击流活动与文本笔记的联合信号与仅使用点击流的模型相比，在识别高风险学生方面表现如何？
• RQ4 哪些具体的文本和行为模式最能指示课程失败或成功？

主要发现

• 与仅使用点击流的基线模型相比，引入导师笔记显著提升了学生状态模型的AUC-ROC得分。
• 该模型在课程早期阶段对最终退课学生的识别精度更高。
• 可解释的注意力机制突出了与学生退学强相关的特定导师笔记和点击流模式。
• 文本信号提供了关于学生动机和参与度的有意义上下文信息，例如困惑或疏离的表达，这些是仅靠点击流数据无法捕捉的。