[论文解读] On the Interpretability of Deep Learning Based Models for Knowledge Tracing

Xinyi Ding, Eric C. Larson|arXiv (Cornell University)|Jan 27, 2021

Intelligent Tutoring Systems and Adaptive Learning参考文献 15被引用 9

一句话总结

本文研究了深度学习模型在知识追踪中的可解释性，揭示了深度知识追踪（DKT）主要学习的是学生‘能力’模型，而非追踪个体技能。基于EdNet数据集，研究发现DKT的性能源于高维投影而非学习到的循环结构，并提出了改进的训练策略和注意力机制，以提升模型的透明度与性能。

ABSTRACT

Knowledge tracing allows Intelligent Tutoring Systems to infer which topics or skills a student has mastered, thus adjusting curriculum accordingly. Deep Learning based models like Deep Knowledge Tracing (DKT) and Dynamic Key-Value Memory Network (DKVMN) have achieved significant improvements compared with models like Bayesian Knowledge Tracing (BKT) and Performance Factors Analysis (PFA). However, these deep learning based models are not as interpretable as other models because the decision-making process learned by deep neural networks is not wholly understood by the research community. In previous work, we critically examined the DKT model, visualizing and analyzing the behaviors of DKT in high dimensional space. In this work, we extend our original analyses with a much larger dataset and add discussions about the memory states of the DKVMN model. We discover that Deep Knowledge Tracing has some critical pitfalls: 1) instead of tracking each skill through time, DKT is more likely to learn an `ability' model; 2) the recurrent nature of DKT reinforces irrelevant information that it uses during the tracking task; 3) an untrained recurrent network can achieve similar results to a trained DKT model, supporting a conclusion that recurrence relations are not properly learned and, instead, improvements are simply a benefit of projection into a high dimensional, sparse vector space. Based on these observations, we propose improvements and future directions for conducting knowledge tracing research using deep neural network models.

研究动机与目标

• 探究如DKT和DKVMN等深度学习模型在知识追踪中的可解释性，尤其关注其高性能但具有黑箱性质的问题。
• 确定DKT是否真正学习了特定技能的掌握程度，还是仅建模了一般性学生能力。
• 分析DKT中循环结构的作用，评估其对性能的贡献是否具有实质性意义。
• 研究DKVMN的隐藏状态动态，理解隐性技能如何被编码与更新。
• 提出方法论改进，以增强模型可解释性，并减少对不可解释的高维表示的依赖。

提出的方法

• 作者对DKT在时间维度上的隐藏状态激活进行降维与可视化，以分析其技能追踪行为。
• 训练仅更新最终线性层的DKT模型，与完全训练的DKT进行比较，以隔离循环结构的作用。
• 通过追踪每次答题后值记忆的更新，分析DKVMN的记忆状态变化，并利用可视化研究激活模式。
• 使用EdNet数据集——一个大规模教育数据集——以验证在ASSISTments等较小数据集之外的发现。
• 提出改进的损失函数和注意力机制，以更好地捕捉长期技能依赖关系，并减少虚假循环效应。
• 在多个数据集（包括ASSISTments 2009–2010和EdNet）上比较模型性能，以AUC为主要评估指标。

实验结果

研究问题

• RQ1 DKT是否真正随时间追踪个体技能，还是仅在建模一般性学生能力？
• RQ2 DKT中的循环结构在多大程度上对性能有贡献，还是性能主要由高维投影驱动？
• RQ3 仅训练最终层（未训练循环部分）的未训练循环网络能否达到与完全训练的DKT模型相当的性能？
• RQ4 DKVMN的记忆状态如何随答题变化？其是否反映了有意义的隐性技能结构？
• RQ5 这些发现对提升知识追踪中深度学习模型的可解释性与设计有何启示？

主要发现

• DKT并未随时间追踪个体技能，而是通过高维空间中的激活模式学习了一般性学生能力模型。
• DKT中的循环结构会强化无关信息，表明循环机制未被正确学习，可能并非性能的关键因素。
• 在EdNet数据集上，仅训练最终线性层的未训练DKT模型，其AUC性能（0.08–0.09）与完全训练的DKT模型相当，表明性能提升主要源于高维投影。
• DKT的性能提升主要归因于将输入映射到稀疏的高维向量空间，使线性分类更简单，而非学习到的时间依赖关系。
• DKVMN的记忆状态在相同技能下无论回答正确与否均激活相似位置，表明隐性技能被稳定编码，但模型未一致反映专家定义的技能层级结构。
• 只要内存大小不过小，DKVMN中隐性技能的数量对内存大小不敏感，表明其具有鲁棒性，但也存在最优隐性技能表示难以确定的模糊性。