[论文解读] Toward Motivating Participants to Assess Peers' Work More Fairly: Taking Programing Language Learning as an Example.
本文提出一种基于评审偏差与激进度的动机模型，用于检测同伴互评中的非共识现象，并在EduPCR4系统中实现，以在需要时触发教师仲裁。在一门C语言程序设计课程中，该模型通过识别并处理不一致的评价，提升了同伴互评的可靠性与公平性。
Peer assessment is an efficient and effective learning assessment method that has been used widely in diverse fields in higher education. Despite its many benefits, a fundamental problem in peer assessment is that participants lack the motivation to assess others’ work faithfully and fairly. Nonconsensus is a common challenge that makes the reliability of peer assessment a primary concern in practices. This research proposes a motivation model that uses review deviation and radicalness to identify nonconsensus in peer assessment. The proposed model is implemented as a software module in a peer code review system called EduPCR4. EduPCR4 is able to monitor peer assessment results and trigger teacher’s arbitration when it detects possible nonconsensus. An empirical study conducted in a university-level C programing course showed that the proposed model and its implementation helped to improve the peer assessment practices in many aspects.
研究动机与目标
- 为解决同伴互评中参与者动机不足的问题，该问题会损害公平性与可靠性。
- 识别同伴互评中的非共识作为影响高等教育同伴评价可信度的关键挑战。
- 开发一种能够检测不一致或极端评审的模型，以提升评估质量。
- 在同伴代码评审系统中实现并评估一个软件模块，支持在检测到非共识时由教师介入。
- 通过自动化监控与反馈机制，提升编程教育中同伴互评的公平性与可靠性。
提出的方法
- 该模型将评审偏差定义为某位同伴的评估与同一作品平均评估之间的统计距离。
- 激进度衡量某次评审相较于其他同伴共识的极端或偏离程度。
- 采用基于阈值的检测机制，当评审偏差或激进度超过预设限值时触发警报。
- 系统将该模型集成到EduPCR4（一个同伴代码评审平台）中，实现实时评估监控。
- 当检测到非共识时，系统会通知任课教师介入并进行仲裁。
- 该方法利用某所大学C语言程序设计课程的实证数据对模型进行校准与验证。
实验结果
研究问题
- RQ1如何通过评审偏差与激进度有效检测同伴互评中的非共识？
- RQ2所提出的模型在多大程度上提升了编程课程中同伴互评的公平性与一致性？
- RQ3非共识的自动化检测在多大程度上影响了教师的介入行为与评估可靠性？
- RQ4该模型对参与者更忠实地进行同伴评估的动机有何影响？
主要发现
- 该模型通过分析评审偏差与激进度指标，成功检测出同伴互评中的非共识。
- 当评审偏差或激进度较高时，系统触发了教师仲裁，从而提升了评估的一致性。
- 在EduPCR4中的实现使C语言程序设计课程的同伴互评结果更加可靠与公平。
- 当非共识被标记并处理后，参与者对评估标准的遵守程度显著提高。
- 系统的自动化监控减轻了教师负担，同时提升了同伴反馈的质量。
- 实证结果表明，该模型有助于提升编程教育中同伴互评实践的可信度。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。