[论文解读] Sparse Neural Attentive Knowledge-based Models for Grade Prediction

Sara Morsy, George Karypis|arXiv (Cornell University)|Apr 22, 2019

Online Learning and Analytics参考文献 19被引用 4

一句话总结

该论文提出神经注意知识模型（NAK），通过学习动态的、基于注意力的权重来表示先修课程的影响，从而改进成绩预测，避免了CKRM模型中假设所有先修课程贡献相等的局限。采用sparsemax激活函数后，NAK在准确率上显著优于CKRM及其他基线模型，其稀疏注意力权重能够识别出正式和非正式的先决条件，从而实现更优的课程规划。

ABSTRACT

Grade prediction for future courses not yet taken by students is important as it can help them and their advisers during the process of course selection as well as for designing personalized degree plans and modifying them based on their performance. One of the successful approaches for accurately predicting a student's grades in future courses is Cumulative Knowledge-based Regression Models (CKRM). CKRM learns shallow linear models that predict a student's grades as the similarity between his/her knowledge state and the target course. A student's knowledge state is built by linearly accumulating the learned provided knowledge components of the courses he/she has taken in the past, weighted by his/her grades in them. However, not all the prior courses contribute equally to the target course. In this paper, we propose a novel Neural Attentive Knowledge-based model (NAK) that learns the importance of each historical course in predicting the grade of a target course. Compared to CKRM and other competing approaches, our experiments on a large real-world dataset consisting of $\sim$1.5 grades show the effectiveness of the proposed NAK model in accurately predicting the students' grades. Moreover, the attention weights learned by the model can be helpful in better designing their degree plans.

研究动机与目标

• 为解决现有知识模型（如CKRM）的局限性，即假设所有先修课程对未来的成绩预测贡献相等。
• 通过学习每门历史课程对目标课程的重要性差异，提升预测准确率。
• 利用神经网络中的注意力机制，自动识别相关先决条件，包括非正式或隐藏的先决条件。
• 通过解释学习到的注意力权重，支持更优的学术指导和个性化的学位规划。
• 在真实世界大学数据背景下，评估软性注意力和稀疏注意力机制在成绩预测中的有效性。

提出的方法

• NAK模型使用神经网络对先修课程计算注意力权重，以学习到的动态权重替代CKRM中的均匀加权。
• 采用softmax和sparsemax激活函数生成注意力权重，其中sparsemax通过将无关课程的权重设为零，促进权重稀疏化。
• 学生的知识状态通过先修课程嵌入的加权和计算，权重即为学习到的注意力分数。
• 模型将学生的注意力加权知识状态与目标课程的嵌入向量进行内积运算，预测其在目标课程中的成绩。
• 模型在来自一所大型大学16年期约150万条成绩的大规模数据集上进行端到端训练。
• 对成绩应用行中心化处理，通过减去每位学生的平均先修成绩，以提升模型性能。

实验结果

研究问题

• RQ1 与传统知识模型（如CKRM）相比，注意力机制是否能提升成绩预测的准确率？
• RQ2 通过sparsemax实现的稀疏注意力是否能通过过滤无关先修课程，更有效地识别出相关先决条件？
• RQ3 学习到的注意力权重是否能反映课程目录中未明确列出的正式和非正式先决条件？
• RQ4 在RMSE和预测准确率方面，NAK相较于基线模型（如KRM(sum)、KRM(avg)和矩阵分解）的表现如何？
• RQ5 注意力权重的可解释性是否能支持更优的学术指导和个性化的学位规划？

主要发现

• NAK(sparse)相比表现最佳的基线模型KRM(avg)，实现了约2%更低的RMSE，显著提升了预测准确率。
• 在允许两个误差等级范围内的预测准确率，NAK(sparse)相比KRM(avg)高出约1%，表明其在成绩估计上具有更高的精度。
• sparsemax激活函数成功生成了稀疏注意力权重，仅有少数先修课程获得非零注意力权重，有效过滤了无关课程。
• 基于学习到的注意力权重，模型正确识别出正式先决条件（如“中级德语I”为“中级德语II”的先修课）和非正式先决条件（如“大学写作”为德语课程的隐含先修课）。
• 定性分析表明，注意力权重具有可解释性，并与学术要求一致，即使在非主修课程中也是如此。
• 模型在无监督条件下学习到隐藏先决条件的能力，表明其能够捕捉超出课程目录明确定义的知识依赖关系。