[论文解读] Process-BERT: A Framework for Representation Learning on Educational Process Data

Alexander Scarlatos, Christopher G. Brinton+1 more|arXiv (Cornell University)|Apr 28, 2022

Online Learning and Analytics被引用 4

一句话总结

本文提出 Process-BERT，一种类似 BERT 的框架，用于对学生在在线评估中的点击流等教育过程数据进行预训练和微调，以学习其表示。通过在序列化过程数据上进行自监督预训练，并结合迁移学习用于下游预测任务，该方法在 NAEP 2019 竞赛数据集上实现了最先进性能，展现出优异的预测准确率以及所学表示中具有意义的行为聚类。

ABSTRACT

Educational process data, i.e., logs of detailed student activities in computerized or online learning platforms, has the potential to offer deep insights into how students learn. One can use process data for many downstream tasks such as learning outcome prediction and automatically delivering personalized intervention. However, analyzing process data is challenging since the specific format of process data varies a lot depending on different learning/testing scenarios. In this paper, we propose a framework for learning representations of educational process data that is applicable across many different learning scenarios. Our framework consists of a pre-training step that uses BERT-type objectives to learn representations from sequential process data and a fine-tuning step that further adjusts these representations on downstream prediction tasks. We apply our framework to the 2019 nation's report card data mining competition dataset that consists of student problem-solving process data and detail the specific models we use in this scenario. We conduct both quantitative and qualitative experiments to show that our framework results in process data representations that are both predictive and informative.

研究动机与目标

• 解决在不同学习场景下对多样化、领域特定的教育过程数据进行表示学习的挑战。
• 开发一种通用且可迁移的框架，用于对序列化教育过程数据进行表示学习，适用于多种数据格式。
• 通过自监督预训练结合微调，提升下游学习结果预测任务的性能。
• 生成可解释且有意义的表示，以反映真实的学生成问题解决行为和认知模式。
• 在真实世界教育数据（特别是 NAEP 2019 评估数据集）上评估该框架的有效性。

提出的方法

• 预训练采用类似于 BERT 的掩码标记预测目标，在序列化过程数据上学习上下文表示。
• 该框架使用基于 Transformer 的架构并引入位置编码，处理时间序列教育过程数据（如点击流）。
• 微调阶段将预训练表示适配到下游监督任务（如学习结果预测）。
• 模型利用注意力机制，在表示提取过程中动态加权序列的相关部分。
• 从 GRU 或 Transformer 编码器的最终隐藏状态中提取问题级别和学生级别的表示，支持多层级行为分析。
• 对学习到的表示应用聚类，以识别学生问题解决序列中的不同行为模式。

实验结果

研究问题

• RQ1 类似 BERT 的预训练框架能否有效从多样化教育过程数据（如问题解决点击流）中学习到有意义的表示？
• RQ2 所提出的迁移学习框架是否在 NAEP 2019 数据集上优于现有方法，用于预测学生学习结果？
• RQ3 学习到的表示能否揭示可解释的行为模式（如任务切换或策略性问题解决）？
• RQ4 与学生级别表示相比，问题级别表示在聚类清晰度和行为洞察方面表现如何？
• RQ5 该框架能否推广到评估点击流以外的其他类型教育过程数据？

主要发现

• 在 NAEP 2019 数据集上，Process-BERT 框架在多个下游学习结果预测任务中表现优于或与现有方法相当。
• 定性分析显示，问题级别表示中存在对应不同问题解决策略（如直接求解、回溯、任务切换）的清晰聚类。
• 学生级别表示也显示出有意义的聚类，尽管清晰度低于问题级别聚类，表明其行为模式随时间变化而多样化。
• 模型清晰捕捉到学生行为差异，如完成所有问题的学生与时间耗尽的学生，后者在后续题块中表现较差。
• 采用类似 BERT 的预训练目标显著提升了下游预测准确率，证明了在过程数据上进行自监督表示学习的价值。
• 该框架生成可解释聚类的能力表明，其在识别有效或无效学习策略以及支持个性化干预方面具有潜在应用价值。