[论文解读] Single versus Double Blind Reviewing at WSDM 2017

Andrew Tomkins, Min Zhang+1 more|arXiv (Cornell University)|Feb 1, 2017

Expert finding and Q&A systems参考文献 12被引用 10

一句话总结

本研究通过一项受控实验，比较了WSDM 2017会议中单盲评审与双盲评审的差异，发现单盲评审者参与的论文数量减少了22%，且存在显著偏见，倾向于 favor 来自知名作者和顶尖机构的论文——相应优势比乘数分别为1.63和2.10；主分析中未观察到显著的性别偏见，但元分析表明对女性作者存在更广泛的负面影响。

ABSTRACT

In this paper we study the implications for conference program committees of using single-blind reviewing, in which committee members are aware of the names and affiliations of paper authors, versus double-blind reviewing, in which this information is not visible to committee members. WSDM 2017, the 10th ACM International ACM Conference on Web Search and Data Mining, performed a controlled experiment in which each paper was reviewed by four committee members. Two of these four reviewers were chosen from a pool of committee members who had access to author information; the other two were chosen from a disjoint pool who did not have access to this information. This information asymmetry persisted through the process of bidding for papers, reviewing papers, and entering scores. Reviewers in the single-blind condition typically bid for 22% fewer papers, and preferentially bid for papers from top institutions. Once papers were allocated to reviewers, single-blind reviewers were significantly more likely than their double-blind counterparts to recommend for acceptance papers from famous authors and top institutions. The estimated odds multipliers are 1.63 for famous authors and 1.58 and 2.10 for top universities and companies respectively, so the result is tangible. For female authors, the associated odds multiplier of 0.78 is not statistically significant in our study. However, a meta-analysis places this value in line with that of other experiments, and in the context of this larger aggregate the gender effect is also statistically significant.

研究动机与目标

• 调查作者身份可见性对真实世界会议环境中同行评审结果的影响。
• 解决计算机科学会议中缺乏对单盲与双盲评审进行对比的受控实验的问题。
• 评估评审者行为、投稿偏好以及接受建议在单盲与双盲条件下的差异是否具有实际意义。
• 评估作者声望、机构声望和性别在影响评审结果中的作用。
• 为会议程序主席选择单盲或双盲评审模式提供实证依据。

提出的方法

• 在WSDM 2017会议上开展受控实验，每篇论文由四位评审者评审：两位来自单盲评审池（知晓作者身份），两位来自双盲评审池（不知晓作者身份）。
• 收集评审者投稿行为的数据，包括每位评审者所投标的论文数量及其对顶尖机构论文的偏好。
• 追踪评审评分和接受建议，比较单盲与双盲评审者的结果差异。
• 使用逻辑回归估算基于作者声望、机构隶属关系和性别的接受可能性的对数优势比乘数。
• 对七个研究进行元分析，以评估效应的一致性，特别是针对性别和机构偏见。
• 将先前研究中的t统计量和优势比转换为对数优势比乘数，以便与WSDM研究结果直接比较。

实验结果

研究问题

• RQ1 作者身份可见性如何影响会议同行评审中的评审者投稿行为？
• RQ2 与双盲评审相比，单盲评审是否导致知名作者或顶尖机构论文的接受率更高？
• RQ3 在单盲与双盲评审中，接受建议是否存在可测量的性别偏见？
• RQ4 在元分析中，作者身份和机构隶属关系的影响在多份研究中如何比较？
• RQ5 当作者信息被隐藏与公开时，评审决策在多大程度上存在差异，且与论文质量无关？

主要发现

• 单盲评审者比双盲评审者少投标22%的论文，表明当作者身份可见时，参与度降低。
• 单盲评审者更可能推荐知名作者的论文接受，其优势比乘数为1.63。
• 来自顶尖大学的论文在单盲评审中接受优势比乘数为1.58，而来自顶尖公司的论文乘数为2.10。
• 对于女性作者，主分析中未发现统计上显著的偏见，其优势比乘数为0.78。
• 对14个情境下七个研究的元分析显示，对女性作者存在一致且统计显著的负面影响，合并后的对数优势比乘数为-0.246。
• 在WSDM研究中，顶尖机构对接受可能性的影响（乘数1.58）比以往研究更为显著，表明会议与期刊评审机制之间可能存在差异。