[论文解读] R2DE: a NLP approach to estimating IRT parameters of newly generated questions

Luca Benedetto, Andrea Cappelli+2 more|arXiv (Cornell University)|Jan 21, 2020

Educational Technology and Assessment参考文献 28被引用 11

一句话总结

R2DE 是一种基于 NLP 的新型模型，仅通过题目和选项文本即可估计新生成的多项选择题的项目反应理论（IRT）参数——难度和区分度。在大规模在线教育数据集上的评估显示，R2DE 在难度估计上的平均绝对误差（MAE）为 0.639，在区分度估计上的 MAE 为 0.329，能够实现准确的性能预测，并减少对昂贵预测试或主观专家评估的依赖。

ABSTRACT

The main objective of exams consists in performing an assessment of students' expertise on a specific subject. Such expertise, also referred to as skill or knowledge level, can then be leveraged in different ways (e.g., to assign a grade to the students, to understand whether a student might need some support, etc.). Similarly, the questions appearing in the exams have to be assessed in some way before being used to evaluate students. Standard approaches to questions' assessment are either subjective (e.g., assessment by human experts) or introduce a long delay in the process of question generation (e.g., pretesting with real students). In this work we introduce R2DE (which is a Regressor for Difficulty and Discrimination Estimation), a model capable of assessing newly generated multiple-choice questions by looking at the text of the question and the text of the possible choices. In particular, it can estimate the difficulty and the discrimination of each question, as they are defined in Item Response Theory. We also present the results of extensive experiments we carried out on a real world large scale dataset coming from an e-learning platform, showing that our model can be used to perform an initial assessment of newly created questions and ease some of the problems that arise in question generation.

研究动机与目标

• 为解决教育评估中的冷启动问题，通过无需预测试的方式估计新创建题目的 IRT 参数。
• 为内容创作者提供基于估计难度和区分度的即时题目质量反馈。
• 降低传统预测试或基于专家校准新评估题项所带来的时间和成本开销。
• 利用 NLP 技术实现更高效、可扩展的高质量教育评估生成。
• 通过为新题项提供可靠的潜在特质估计，支持知识追踪，提升学生表现预测的准确性。

提出的方法

• R2DE 采用监督回归模型，基于题目文本和选项内容预测 IRT 难度和区分度参数。
• 该模型利用 NLP 技术编码题目和干扰项的文本特征，捕捉与题目特性相关的语义和句法模式。
• 利用来自在线教育平台的大规模真实世界数据集，学习文本特征与 IRT 参数之间的关系。
• 模型使用平均绝对误差（MAE）损失函数对难度和区分度估计进行训练。
• 通过下游知识追踪任务评估性能，将预测准确率与 IRT 估计的潜在特质及多数基线方法进行比较。
• 该方法可实现对题目质量的早期评估，使内容创作者在部署前能够优化题目。

实验结果

研究问题

• RQ1 仅从题目文本内容出发，NLP 技术能否准确估计新生成的多项选择题的难度？
• RQ2 NLP 模型是否也能估计题目的区分度参数，即其区分不同能力水平学生的能力？
• RQ3 基于文本估计的 IRT 参数化结果与基于学生答题数据获得的黄金标准 IRT 估计相比，表现如何？
• RQ4 与基线估计方法相比，R2DE 在知识追踪中提升性能的程度如何？
• RQ5 R2DE 是否能通过提供可靠的初始项目参数估计，显著减少对预测试的需求？

主要发现

• R2DE 在难度估计上的平均绝对误差（MAE）为 0.639，相当于数据集中难度范围的 6.39%。
• 在区分度估计方面，R2DE 的 MAE 为 0.329，占整体区分度范围的 9.4%。
• 该模型在预测学生考试结果方面的准确率仅比使用 IRT 估计潜在特质所能达到的上限低 1.57%。
• R2DE 显著优于多数基线方法，后者因缺乏题目特异性信息而表现较差。
• 该模型可实现对低区分度或目标不明确题目的早期识别，减少部署后移除的需求。
• 结果表明，R2DE 可减少教育评估流程中对昂贵预测试和主观专家校准的依赖。