[论文解读] The Causal Effect of Answer Changing on Multiple-Choice Items

Yongnam Kim|arXiv (Cornell University)|Aug 31, 2018

Advanced Causal Inference Techniques参考文献 17被引用 1

一句话总结

本研究使用潜在结果框架表明，答题更改在受试者中的平均处理效应（ATT）为正，意味着那些更改答案的学生通常会受益；而未更改答案者的平均处理效应（ATU）为负，表明未更改答案的学生在将更改视为处理时会受到损害。研究通过区分这两种效应，解决了长期存在的争议。

ABSTRACT

Whether examinees' answer changing behavior while taking multiple-choice exams is beneficial or harmful is a long-standing puzzle in the educational and psychological measurement literature. Formalizing the problem using the potential outcomes framework, this article shows that the traditional method of comparing the proportions of to and right to wrong answer changing patterns--a method that has recently been criticized by van der Linden, Jeon, and Ferrara (2011)--indeed correctly identify the sign of the average answer changing effect, but only for those examinees who actually changed their initial responses. This subgroup effect is referred to as the average treatment effect on the treated (ATT) and generally differs from the average treatment effect on the untreated (ATU), that is, those who did not change their initial responses. Analyzing two real data sets, including van der Linden et al.'s (2011) controversial data, this article finds that the ATT of answer changing is positive while the ATU of answer changing is negative, therefore, the debate on answer changing effects can be easily resolved. The article also shows that answer changing and answer reviewing are two distinct treatments and knowing answer changing effects is not informative for predicting answer reviewing effects.

研究动机与目标

• 解决关于多选题答题更改是否有益或有害的长期争议。
• 阐明传统方法在比较正确到错误和错误到正确答题更改模式时的局限性。
• 在答题更改行为中区分受试者的平均处理效应（ATT）与未受试者的平均处理效应（ATU）。
• 证明答题更改与答题复查是两个不同的过程，具有不同的因果效应。
• 利用真实数据集（包括范德林登等人有争议的数据）提供一个因果框架，以评估答题更改的真实影响。

提出的方法

• 使用潜在结果框架将答题更改形式化为因果处理。
• 估计更改答案的学生的受试者平均处理效应（ATT）。
• 估计未更改答案的学生的未受试者平均处理效应（ATU）。
• 分析两个真实数据集，包括范德林登等人（2011年）的数据，以计算ATT和ATU。
• 在因果模型中将答题更改与答题复查视为独立的处理。
• 使用统计建模比较ATT与ATU的方向和大小，揭示其不同的效应。

实验结果

研究问题

• RQ1 传统方法通过比较正确到错误和错误到正确答题更改模式，能否正确识别受试者平均处理效应（ATT）的符号？
• RQ2 在多选题项目中更改答案的学生的受试者平均处理效应（ATT）是多少？
• RQ3 未更改答案的学生的未受试者平均处理效应（ATU）是多少？
• RQ4 答题更改对更改者与未更改者的影响有何不同？
• RQ5 答题更改的影响在多大程度上可用来预测答题复查的影响？

主要发现

• 答题更改的受试者平均处理效应（ATT）为正，表明更改答案的学生通常能提高分数。
• 答题更改的未受试者平均处理效应（ATU）为负，意味着未更改答案的学生在将更改视为处理时会受到更大损害。
• ATT与ATU存在显著差异，表明答题更改的整体效应取决于所考虑的子群体。
• 答题更改与答题复查是不同的处理，对答题更改效应的了解无法用于预测答题复查效应。
• 对范德林登等人（2011年）数据的分析确认ATT为正，ATU为负，支持答题更改对实施者有益的结论，从而解决了争议。
• 传统方法在正确识别ATT符号方面表现良好，但未能呈现完整的因果图景。