[论文解读] Towards Interpretable Deep Learning Models for Knowledge Tracing

Yu Lu, Deliang Wang+2 more|arXiv (Cornell University)|May 13, 2020

Intelligent Tutoring Systems and Adaptive Learning参考文献 45被引用 4

一句话总结

本文提出使用逐层重要性传播（LRP）来解释基于RNN的深度学习知识追踪（DLKT）模型的预测结果，实现对模型决策的后验解释。实验表明，LRP能有效识别相关问题及概念层面的关系，验证了其在提升教育人工智能模型可解释性方面的可行性。

ABSTRACT

As an important technique for modeling the knowledge states of learners, the traditional knowledge tracing (KT) models have been widely used to support intelligent tutoring systems and MOOC platforms. Driven by the fast advancements of deep learning techniques, deep neural network has been recently adopted to design new KT models for achieving better prediction performance. However, the lack of interpretability of these models has painfully impeded their practical applications, as their outputs and working mechanisms suffer from the intransparent decision process and complex inner structures. We thus propose to adopt the post-hoc method to tackle the interpretability issue for deep learning based knowledge tracing (DLKT) models. Specifically, we focus on applying the layer-wise relevance propagation (LRP) method to interpret RNN-based DLKT model by backpropagating the relevance from the model's output layer to its input layer. The experiment results show the feasibility using the LRP method for interpreting the DLKT model's predictions, and partially validate the computed relevance scores from both question level and concept level. We believe it can be a solid step towards fully interpreting the DLKT models and promote their practical applications in the education domain.

研究动机与目标

• 解决基于深度学习的知识追踪（DLKT）模型可解释性不足的问题，该问题阻碍了其在教育领域的实际应用。
• 开发一种后验解释方法，使基于RNN的DLKT模型对教育工作者和系统设计者更具透明性和可理解性。
• 验证LRP生成的相关性分数在问题和概念层面的一致性，确保其与模型预测相符。
• 通过可解释性分析探索DLKT模型内部捕捉的概念层面关系。

提出的方法

• 将逐层重要性传播（LRP）应用于基于LSTM的DLKT模型，从输出层反向传播相关性分数至输入层。
• 针对LSTM架构中的加权线性连接和乘法连接，设计特定的LRP规则。
• 利用相关性分数识别对模型预测下一个问题影响最大的历史问题。
• 根据预测的概念对概念层面的相关性分数进行聚合，实现概念依赖关系的可视化。
• 按相关性高低降序/升序删除问题，测试高相关性与低相关性问题对预测性能的影响。
• 使用有向图可视化概念层面关系，其中边权重表示LRP推导的相关性数值。

实验结果

研究问题

• RQ1 LRP能否有效解释基于RNN的DLKT模型在问题层面的预测决策？
• RQ2 LRP计算的相关性分数是否与问题对模型性能的实际贡献相关？
• RQ3 LRP能否揭示反映知识结构中前提或类前提依赖关系的有意义概念层面关系？
• RQ4 该可解释性方法是否足够稳健，能够基于相关性模式区分正确与错误预测的序列？

主要发现

• LRP方法成功识别出影响模型预测的相关问题，超过90%的练习序列在按相关性顺序删除问题时，预测准确性保持一致。
• 删除高相关性问题会显著降低正确预测序列的预测准确性，验证了LRP分数的可靠性。
• 删除低相关性问题能提高错误预测序列的预测准确性，进一步证实了相关性排序的有效性。
• 概念层面的可视化揭示了有意义的聚类（如代数、几何、统计）以及合理的前提关系，例如“实数排序”受“分数除法”和“平方根”的影响。
• 基于LRP的解释方法在解释问题层面和概念层面的贡献方面具有可行性，支持其在构建可解释DLKT模型中的应用。
• 结果表明，LRP能够部分恢复DLKT模型所学习的内部知识结构，为理解其决策过程提供洞见。