[论文解读] Student Performance Prediction Using Dynamic Neural Models

Marina Delianidi, Konstantinos Diamantaras+2 more|arXiv (Cornell University)|Jun 1, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 22被引用 7

一句话总结

该论文提出了一种两阶段动态神经网络模型用于学生表现预测，采用双向GRU（Bi-GRU）或时延神经网络（TDNN）来追踪学生知识状态随时间的变化，随后通过前馈分类器进行预测。Bi-GRU模型在五个基准数据集中的四个上优于TDNN和当前最先进（SOTA）模型，且使用预训练技能嵌入或注意力机制并未带来显著优势。

ABSTRACT

We address the problem of predicting the correctness of the student's response on the next exam question based on their previous interactions in the course of their learning and evaluation process. We model the student performance as a dynamic problem and compare the two major classes of dynamic neural architectures for its solution, namely the finite-memory Time Delay Neural Networks (TDNN) and the potentially infinite-memory Recurrent Neural Networks (RNN). Since the next response is a function of the knowledge state of the student and this, in turn, is a function of their previous responses and the skills associated with the previous questions, we propose a two-part network architecture. The first part employs a dynamic neural network (either TDNN or RNN) to trace the student knowledge state. The second part applies on top of the dynamic part and it is a multi-layer feed-forward network which completes the classification task of predicting the student response based on our estimate of the student knowledge state. Both input skills and previous responses are encoded using different embeddings. Regarding the skill embeddings we tried two different initialization schemes using (a) random vectors and (b) pretrained vectors matching the textual descriptions of the skills. Our experiments show that the performance of the RNN approach is better compared to the TDNN approach in all datasets that we have used. Also, we show that our RNN architecture outperforms the state-of-the-art models in four out of five datasets. It is worth noting that the TDNN approach also outperforms the state of the art models in four out of five datasets, although it is slightly worse than our proposed RNN approach. Finally, contrary to our expectations, we find that the initialization of skill embeddings using pretrained vectors offers practically no advantage over random initialization.

研究动机与目标

• 通过将知识状态演化建模为动态序列学习问题，提升学生表现预测性能。
• 比较有限记忆的TDNN与无限记忆的RNN（具体为Bi-GRU）在知识追踪中的有效性。
• 评估不同技能嵌入初始化策略（随机初始化 vs. 预训练词嵌入）对模型性能的影响。
• 探究注意力机制是否能提升知识追踪任务中的预测准确率。
• 通过卷积层和嵌入层后的空间dropout，构建一种抗过拟合的鲁棒架构。

提出的方法

• 模型采用两阶段架构：使用动态神经网络（Bi-GRU或TDNN）从序列响应历史中估计学生知识状态的演化。
• 学生响应及其相关技能通过可学习嵌入进行编码，技能嵌入可选择随机初始化或使用预训练的Word2Vec/FastText向量。
• 在嵌入层后应用卷积层（卷积核大小为3，激活函数为ReLU），以降低维度并缓解过拟合。
• 在卷积层后应用空间dropout，进一步正则化模型，提升泛化能力。
• 通过多层前馈网络，基于估计的知识状态对下一次响应的正确性进行分类预测。
• 模型采用交叉熵损失进行端到端训练，并使用Adam优化器配合早停策略进行优化。

实验结果

研究问题

• RQ1 在多个数据集上，使用Bi-GRU架构是否在学生表现预测中优于TDNN？
• RQ2 与随机初始化相比，使用预训练词向量初始化技能嵌入是否能带来可测量的性能提升？
• RQ3 在本知识追踪设置中，注意力机制或键值模块是否能提升预测准确率？
• RQ4 卷积层与嵌入层后的空间dropout是否能有效减少知识追踪模型的过拟合？
• RQ5 在多样化基准数据集上，该模型在AUC指标上与现有最先进模型相比表现如何？

主要发现

• Bi-GRU模型在全部五个基准数据集上均优于TDNN模型，且差异具有统计显著性（p值 < 1e-40）。
• Bi-GRU模型在五个数据集中的四个上达到最先进性能，超越了DKVMN和Deep-IRT等模型。
• TDNN模型在五个数据集中的四个上也优于以往最先进模型，但略逊于Bi-GRU。
• 使用预训练词嵌入进行技能嵌入初始化并未带来显著性能提升，与初始预期相反。
• 注意力机制和键值模块未提升性能，因此未被纳入最终模型。
• 在嵌入层后使用卷积层与空间dropout显著减少了过拟合，并增强了模型泛化能力。