[论文解读] Results and Insights from Diagnostic Questions: The NeurIPS 2020 Education Challenge

Zichao Wang, Angus Lamb+10 more|arXiv (Cornell University)|Apr 8, 2021

Glioma Diagnosis and Treatment被引用 4

一句话总结

本文介绍了 NeurIPS 2020 教育挑战赛，提出一个大规模、真实世界的数据集，包含超过 4 亿名学生对多项选择诊断题的回答。该研究提出了四项数据挖掘任务——答案预测、矩阵补全、题目质量评估以及个性化题目选择，采用无监督和主动学习方法，以实现在在线教育中可扩展、数据驱动的个性化学习。

ABSTRACT

This competition concerns educational diagnostic questions, which are pedagogically effective, multiple-choice questions (MCQs) whose distractors embody misconceptions. With a large and ever-increasing number of such questions, it becomes overwhelming for teachers to know which questions are the best ones to use for their students. We thus seek to answer the following question: how can we use data on hundreds of millions of answers to MCQs to drive automatic personalized learning in large-scale learning scenarios where manual personalization is infeasible? Success in using MCQ data at scale helps build more intelligent, personalized learning platforms that ultimately improve the quality of education en masse. To this end, we introduce a new, large-scale, real-world dataset and formulate 4 data mining tasks on MCQs that mimic real learning scenarios and target various aspects of the above question in a competition setting at NeurIPS 2020. We report on our NeurIPS competition in which nearly 400 teams submitted approximately 4000 submissions, with encouragingly diverse and effective approaches to each of our tasks.

研究动机与目标

• 通过利用真实世界的学生答题数据，自动化题目选择并改善学习效果，以应对可扩展个性化教育的挑战。
• 通过机器学习技术根据个体学生需求自适应调整内容，克服大规模在线学习平台中人工个性化带来的局限性。
• 开发并评估新型机器学习方法用于教育数据挖掘，尤其关注稀疏、分类及动态学习环境中的应用。
• 通过提供一个丰富且公开可用的数据集（包含学生、题目和答题模式的详细元数据），推动人工智能在教育领域的发展。
• 探索整合元数据（如技能、人口统计信息、时间戳）和多模态数据（如题目图片）的方法，以提升建模性能与教育洞察力。

提出的方法

• 从 Eedi 平台收集了超过 4 亿条学生对诊断性多项选择题的回答，构建了一个大规模、真实世界的数据集，包含丰富的元数据，如技能标签、时间戳和题目图片。
• 设计了四项独立任务：(1) 基于稀疏学生-题目-答题数据的矩阵补全进行答案预测；(2) 针对无序分类数据的矩阵补全；(3) 基于答题模式的自动题目质量评估；(4) 通过主动学习与排序实现个性化题目选择。
• 应用无监督和自监督学习技术，以应对学生学习过程中数据稀疏性和动态变化的挑战，特别是在低数据场景下。
• 整合学生与题目元数据（如人口统计信息、技能标签、时间戳）以提升各项任务中的预测与排序性能。
• 利用题目图片与文本的多模态特征，支持跨模态学习，提升诊断题建模效果。
• 采用真实世界性能指标（包括预测准确率、AUC 和排序质量）在多样化且非均匀的数据分布上评估解决方案。

实验结果

研究问题

• RQ1 如何利用稀疏的真实世界数据，准确预测学生对诊断性多项选择题的回答？
• RQ2 在教育场景中，哪些技术能够有效实现对无序分类答题数据的矩阵补全？
• RQ3 如何基于学生答题模式与常见误解，自动评估诊断题的质量？
• RQ4 哪些策略能够实现个性化、自适应的题目选择，以最大化学习效率与预测准确性？
• RQ5 如何利用元数据（如技能、人口统计信息、时间戳）和多模态数据（如图片、文本）提升教育建模与个性化水平？

主要发现

• 近 400 支团队参与了 NeurIPS 2020 竞赛，提交了约 4,000 个解决方案，表明全球对人工智能驱动的教育个性化有强烈兴趣。
• 在答案预测任务中，领先解决方案取得了较高的 AUC 分数，表明其在从稀疏答题数据中建模学生知识状态方面表现优异。
• 该数据集支持了题目质量评估的新方法，顶尖模型能够基于答题模式的一致性与误解匹配度，识别出高质量的诊断题。
• 个性化题目选择模型优于随机选择与启发式基线，显示出在大规模平台中实现自适应测试与高效评估的潜力。
• 元数据与多模态特征（如题目图片与文本）的整合显著提升了矩阵补全与预测任务的性能。
• 竞赛结果表明，主动学习与基于不确定性的采样策略在优化题目序列选择方面有效，可减少达到准确预测所需的答题数量。