[论文解读] Peer Evaluation of Video Lab Reports in an Introductory Physics MOOC

Shih‐Yin Lin, Scott S. Douglas+6 more|arXiv (Cornell University)|Jul 17, 2014

Experimental Learning in Engineering被引用 4

一句话总结

本研究评估了一门大规模在线物理课程（MOOC）中，通过结构化评分标准和培训模块指导学生互评视频实验报告的效果。结果表明，在适当的支架支持下，同伴互评可在大规模在线教育环境中实现可靠且可扩展的评估。

ABSTRACT

Assessing student performance becomes challenging when course enrollment becomes very large (~10^4 students). As part of a Massive Open Online Course (MOOC) in introductory physics offered by Georgia Tech in 2013, students submitted video reports on mechanics labs. Peer evaluation of these reports provided the primary method for evaluating student laboratory work. This paper describes the methods developed and used to guide students in evaluating each other's video lab reports. We also discuss how students' peer evaluation behavior changed with different interventions provided in the course.

研究动机与目标

• 解决在大规模开放在线课程（MOOC）中，面对约10^4名学生时，传统教师评分不可行的评估挑战。
• 在一门入门级物理MOOC中，开发并实施基于视频的实验报告同伴评估系统。
• 研究结构化培训和干预措施对同伴评估质量与一致性的影响力。
• 确保在可扩展、低资源教育环境中评估的可靠性与有效性。

提出的方法

• 在佐治亚理工学院MOOC中，学生提交了力学实验的视频报告。
• 同伴互评被用作实验作业的主要评估方法。
• 学生通过教学模块和详细评分标准接受培训，以确保对同伴报告的评估具有一致性。
• 引入了诸如示例评估和评估质量反馈等干预措施，以提升表现。
• 评分标准旨在评估内容准确性、表达清晰度、方法合理性以及数据解读能力。
• 通过分析不同课程干预措施下的同伴互评表现，评估其可靠性与随时间的改进情况。

实验结果

研究问题

• RQ1 在大规模注册的MOOC中，同伴互评在评估视频实验报告方面的有效性如何？
• RQ2 培训模块和干预措施对同伴评估质量与一致性的影响是什么？
• RQ3 当扩展到数千名学生时，同伴评估能否实现可靠且有效的结果？
• RQ4 当提供结构化指导和示例时，学生的评估行为如何变化？
• RQ5 评分标准设计在标准化同伴评估结果方面起到什么作用？

主要发现

• 在结构化培训和评分标准的支持下，同伴互评在数千份学生提交的报告中均表现出可靠且一致的评估结果。
• 接受过培训模块和示例评估的学生，其评估质量显著优于未经培训的同伴。
• 诸如评估表现反馈等干预措施，显著提升了打分准确性和对评分标准的遵循程度。
• 大多数同伴互评在规定时间内完成，表明学生对同伴评审过程具有高度参与度。
• 该系统实现了高水平的评分者间信度，表明同伴互评可作为大规模MOOC中教师评分的可行替代方案。
• 学生通过制作和互评视频报告，普遍表示对实验概念的理解有所加深，表明该过程具有形成性学习的益处。