[论文解读] Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review

Ivan Stelmakh, Nihar B. Shah+2 more|arXiv (Cornell University)|Nov 30, 2020

Explainable Artificial Intelligence (XAI)参考文献 61被引用 7

一句话总结

本研究通过一项包含133名评审人和19篇论文的随机对照试验，调查新手评审人是否表现出对重新提交论文的偏见——即对曾被拒稿的论文评价更严厉。研究发现，与未被告知拒稿历史的评审人相比，评审人对重新提交论文的平均评分在10分制上低0.78分，其中质量评分受影响最显著，表明存在可测量的负面偏见。

ABSTRACT

Modern machine learning and computer science conferences are experiencing a surge in the number of submissions that challenges the quality of peer review as the number of competent reviewers is growing at a much slower rate. To curb this trend and reduce the burden on reviewers, several conferences have started encouraging or even requiring authors to declare the previous submission history of their papers. Such initiatives have been met with skepticism among authors, who raise the concern about a potential bias in reviewers' recommendations induced by this information. In this work, we investigate whether reviewers exhibit a bias caused by the knowledge that the submission under review was previously rejected at a similar venue, focusing on a population of novice reviewers who constitute a large fraction of the reviewer pool in leading machine learning and computer science conferences. We design and conduct a randomized controlled trial closely replicating the relevant components of the peer-review pipeline with $133$ reviewers (master's, junior PhD students, and recent graduates of top US universities) writing reviews for $19$ papers. The analysis reveals that reviewers indeed become negatively biased when they receive a signal about paper being a resubmission, giving almost 1 point lower overall score on a 10-point Likert item ($Δ= -0.78, \ 95\% \ ext{CI} = [-1.30, -0.24]$) than reviewers who do not receive such a signal. Looking at specific criteria scores (originality, quality, clarity and significance), we observe that novice reviewers tend to underrate quality the most.

研究动机与目标

• 调查新手评审人在会议同行评审中是否对重新提交论文存在偏见。
• 通过真实评审人和真实论文的受控实验，测量该偏见的大小。
• 考察重新提交信号如何影响具体评估标准，如原创性、质量、清晰度和重要性。
• 评估尽管评审人付出认知努力，先前拒稿历史的存在是否仍会影响其判断。
• 为会议组织者提供实证证据，以评估重新提交披露政策的公平性与设计。

提出的方法

• 在来自美国顶尖大学的133名新手评审人（硕士生、初级博士生及近期毕业生）中开展随机对照试验。
• 使用19篇来自以往会议的真实论文，将每篇论文分配给两组评审人：一组被告知曾被拒稿（重新提交条件），另一组未被告知（基线条件）。
• 在两种条件下保持论文内容和评审说明完全一致，以隔离重新提交信号的影响。
• 收集并分析133份完整评审，采用10分李克特量表评估总体得分及四项标准：原创性、质量、清晰度和重要性。
• 应用统计分析（95%置信区间）以估计偏见的大小和显著性。
• 控制评审人经验与论文特征，以隔离重新提交信号的影响。

实验结果

研究问题

• RQ1 知晓某论文曾被拒稿是否会导致评审得分明显下降？
• RQ2 重新提交信号如何影响质量、原创性、清晰度等不同评审标准的评分？
• RQ3 该偏见在不同类型的新手评审人中是否一致，还是因经验水平而异？
• RQ4 尽管评审人付出认知努力，先前拒稿历史的存在在多大程度上会覆盖理性评估？
• RQ5 该偏见与同行评审中已知的其他认知偏见相比如何？

主要发现

• 得知论文曾被拒稿的评审人，其对论文的总体平均得分比未获此信息的评审人低0.78分（10分制）。
• 得分差异的95%置信区间为[-1.30, -0.24]，证实该偏见具有统计显著性。
• 评分下降最显著的是“质量”标准，表明评审人对重新提交论文的技术或方法严谨性持最强烈怀疑态度。
• 即使评审人撰写了详细且深思熟虑的评审意见，并被专家评委评定为胜任，该偏见依然存在，表明其并非源于努力不足。
• 效应量显著，仅重新提交信号本身便解释了评审得分中相当大一部分的方差。
• 结果表明，仅知晓过往拒稿历史即可引发系统性负面偏见，即使未提供过往评审意见或作者解释。