[论文解读] Predicting Student Performance in Interactive Online Question Pools Using Mouse Interaction Features

Huan Wei, Haotian Li+3 more|arXiv (Cornell University)|Jan 9, 2020

Online Learning and Analytics参考文献 38被引用 4

一句话总结

本文提出了一种新颖的方法，通过利用鼠标交互特征（如思考时间、首次尝试和拖拽模式）以及异质信息网络（HIN）来建模问题之间的相似性，从而预测学生在互动式在线题库中的表现。该方法在多种机器学习模型上显著提升了预测准确率，相较于传统统计特征，凸显了细粒度行为数据在非结构化、非课程化学习环境中的价值。

ABSTRACT

Modeling student learning and further predicting the performance is a well-established task in online learning and is crucial to personalized education by recommending different learning resources to different students based on their needs. Interactive online question pools (e.g., educational game platforms), an important component of online education, have become increasingly popular in recent years. However, most existing work on student performance prediction targets at online learning platforms with a well-structured curriculum, predefined question order and accurate knowledge tags provided by domain experts. It remains unclear how to conduct student performance prediction in interactive online question pools without such well-organized question orders or knowledge tags by experts. In this paper, we propose a novel approach to boost student performance prediction in interactive online question pools by further considering student interaction features and the similarity between questions. Specifically, we introduce new features (e.g., think time, first attempt, and first drag-and-drop) based on student mouse movement trajectories to delineate students' problem-solving details. In addition, heterogeneous information network is applied to integrating students' historical problem-solving information on similar questions, enhancing student performance predictions on a new question. We evaluate the proposed approach on the dataset from a real-world interactive question pool using four typical machine learning models.

研究动机与目标

• 为解决在缺乏预定义题目顺序或专家标注知识标签的互动式在线题库中预测学生表现的挑战。
• 探究鼠标交互特征是否能在非结构化、探索性学习环境中为表现预测提供有意义的信号。
• 通过异质信息网络（HIN）整合在相似问题上的历史解题模式，以提升预测的鲁棒性。
• 评估所提出方法在多种机器学习模型和题目类别中的有效性和一致性。

提出的方法

• 从记录的交互数据中提取包括思考时间、首次尝试和首次拖拽事件在内的鼠标移动轨迹特征。
• 使用滑动窗口和密度阈值检测鼠标拖拽事件中的变化点，为每个题目生成拖拽事件直方图。
• 构建一个异质信息网络（HIN），将学生、题目和交互特征关联起来，以建模相似题目之间的关系。
• 应用HIN聚合语义相似题目的历史表现数据，从而增强对新题目的预测能力。
• 将提取的交互特征与传统统计特征（如平均分）结合，并输入标准机器学习模型（如GBDT、SVM、LR、RF）进行训练。
• 使用余弦相似度识别具有相似交互模式的题目，仅选择相似度分数≥0.7的题目用于HIN传播。

实验结果

研究问题

• RQ1 鼠标交互特征（如思考时间和拖拽模式）是否能提升互动式在线题库中学生表现的预测效果？
• RQ2 通过异质信息网络（HIN）整合相似题目上的历史表现，在多大程度上能提升预测准确率？
• RQ3 所提出的方法是否在多种机器学习模型和题目类别中均优于传统的统计基线？
• RQ4 该方法在不同模型和题目类型中的表现是否具有一致性？

主要发现

• 所提出的方法在所有测试模型中均显著优于仅使用统计特征（如平均分）的基线模型，表现出更高的预测准确率。
• 鼠标交互特征的引入对性能提升贡献显著，其中GBDT模型的改进最为明显，表明这些特征具有强大的预测能力。
• 异质信息网络（HIN）有效利用了相似题目的历史数据，通过捕捉可迁移的学习模式，提升了对新题目的预测能力。
• 该方法在不同机器学习模型（包括GBDT、SVM、逻辑回归和随机森林）以及各类题目类别中均表现出一致的性能提升。
• 结果证实，在缺乏结构化课程或精确知识标签的环境中，基于交互的特征比仅依赖统计特征更具信息量。