[论文解读] The end of multiple choice tests: using AI to enhance assessment

Michael W. Klymkowsky, Melanie M. Cooper|arXiv (Cornell University)|Jun 11, 2024

Artificial Intelligence in HealthcareHealth Professions被引用 3

一句话总结

本文提出通过整合人工智能分析学生对选择题答案的解释，来增强多选题评估，以解决传统多选题测试无法揭示误解的局限性。利用基于科学概念微调的AI机器人，该方法可识别误解并提供可操作的反馈，在概念验证研究中表明，经AI分析的解释能快速、深入且具有形成性地提供评估数据。

ABSTRACT

Effective teaching relies on knowing what students know-or think they know. Revealing student thinking is challenging. Often used because of their ease of grading, even the best multiple choice (MC) tests, those using research based distractors (wrong answers) are intrinsically limited in the insights they provide due to two factors. When distractors do not reflect student beliefs they can be ignored, increasing the likelihood that the correct answer will be chosen by chance. Moreover, making the correct choice does not guarantee that the student understands why it is correct. To address these limitations, we recommend asking students to explain why they chose their answer, and why "wrong" choices are wrong. Using a discipline-trained artificial intelligence-based bot it is possible to analyze their explanations, identifying the concepts and scientific principles that maybe missing or misapplied. The bot also makes suggestions for how instructors can use these data to better guide student thinking. In a small "proof of concept" study, we tested this approach using questions from the Biology Concepts Instrument (BCI). The result was rapid, informative, and provided actionable feedback on student thinking. It appears that the use of AI addresses the weaknesses of conventional MC test. It seems likely that incorporating AI-analyzed formative assessments will lead to improved overall learning outcomes.

研究动机与目标

• 解决传统多选题测试在揭示学生误解和理解方面存在的局限性。
• 开发一种可扩展的形成性评估方法，捕捉学生推理过程，而不仅限于正确或错误的答案。
• 利用人工智能分析学生解释，识别概念理解中的知识缺口。
• 为教师提供基于学生推理模式的可操作反馈。
• 在真实教育环境中证明AI增强型多选题评估的可行性与价值。

提出的方法

• 要求学生选择一个多选题答案，并解释其推理过程以及为何其他选项是错误的。
• 基于特定学科的科学内容微调的AI机器人，分析解释中的概念准确性和推理模式。
• AI识别缺失或错误应用的科学原理，并使用自然语言处理对误解进行分类。
• 系统为教师生成结构化反馈，涵盖常见误解和学习缺口。
• 采用生物学概念量表（BCI）作为验证的试验平台，在概念验证研究中进行测试。
• 结果聚合后，为教师提供关于全班学生思维的实时洞察。

实验结果

研究问题

• RQ1 AI能否有效分析学生对多选题答案的解释，以识别误解？
• RQ2 将解释分析纳入是否能提升多选题评估的诊断价值？
• RQ3 AI生成的反馈能否帮助教师更有效地识别特定的概念性误解？
• RQ4 在课堂环境中，AI处理学生解释的速度和可靠性如何？
• RQ5 与传统多选题测试相比，该方法在多大程度上增强了形成性评估？

主要发现

• 基于AI的解释分析成功识别出仅通过正确/错误评分无法察觉的误解和概念性知识缺口。
• 该系统为教师提供了快速且可操作的反馈，使其能够实施有针对性的教学干预。
• 在概念验证研究中，该方法揭示了传统多选题测试所忽略的细微推理模式。
• 学生对错误选项为何错误的解释，尤其有助于诊断误解。
• AI的整合增强了多选题评估的诊断能力，同时保持了可扩展性。
• 结果表明，经AI分析的形成性评估可通过早期纠正误解，带来更好的学习成果。