[论文解读] The First Results of Distributed Peer Review at ESO Show Promising Outcomes
本文评估了欧洲南方天文台（ESO）分布式同行评审（DPR）系统的第一轮（P110）和第二轮（P111）运行情况，该系统让首席研究员（PI）相互评审彼此的提案，而非依赖集中化的专家评审小组。DPR系统基于关键词匹配的专家评分分配提案，并强制每份提交的提案获得10份评审。该系统在统计学上与传统评审小组的结果相当，且反馈满意度显著更高，尤其是对被拒提案而言，原因在于评审意见更详细、未经编辑。
The European Southern Observatory (ESO) implemented a new paradigm called Distributed Peer Review (DPR) as part of its proposal evaluation process in Period 110. Under DPR, Principal Investigators who submit proposals agree to review a certain number of proposals submitted by their peers and accept that their own proposal(s) are reviewed by their peers who have also submitted proposals in the same cycle. This article presents a brief overview of the DPR process at ESO, and its outcomes based on data from periods 110 and 111.
研究动机与目标
- 为应对大型天文设施提案数量增长带来的专家评审小组日益加重的后勤负担。
- 评估一种分布式同行评审（DPR）模式的可行性与质量，即首席研究员（PI）相互评审彼此的提案。
- 评估DPR在评分一致性与反馈质量方面是否与传统专家评审小组的结果相当。
- 分析基于申请人提供的关键词与匹配得分的专家匹配算法的有效性。
- 衡量PI对DPR评审反馈的满意度，与传统评审小组反馈进行对比。
提出的方法
- 在ESO的P110和P111提案周期中实施DPR系统，要求PI评审10份同行提案，并接受对其自身提案的同行评审。
- 采用基于关键词的专家匹配系统：每位PI和每份提案均使用最多五个科学关键词分配知识向量，匹配得分范围为0（无重叠）至2（完全匹配）。
- 使用自定义算法proposal_distributor，根据匹配得分、评审者容量（每位评审者10份评审）和利益冲突规避（如机构关联）等因素，将提案分配给评审者。
- 将DPR评分标准化，使其均值和标准差与评审小组评分一致，以确保公平排名。
- 自愿收集PI对评审意见有用性的反馈，区分接受与被拒提案。
- 比较DPR、随机分配和理想化渐近最大值下的匹配得分分布，以评估算法性能。
实验结果
研究问题
- RQ1DPR系统是否产生在统计学上与传统专家评审小组无法区分的评分结果？
- RQ2基于关键词的专家匹配算法在为提案分配具有相关科学背景的评审者方面有多有效？
- RQ3与专家小组相比，DPR评审的反馈是否更具实用性，特别是对被拒提案而言？
- RQ4与算法计算的匹配得分相比，自我评估的专家水平是否存在系统性偏差？
- RQ5DPR能否在减轻评审小组工作量的同时，维持高质量的评审并提升反馈质量？
主要发现
- DPR系统在P110周期成功评审了435份提案，在P111周期评审了417份提案，100%按时提交，未报告任何技术问题。
- DPR分配的平均匹配得分（6085.65）是随机分配（1875.15）的三倍以上，表明专家匹配度高。
- DPR匹配得分分布在高分处达到峰值，表明分配效果良好，仅比理论渐近最大值低1.05倍。
- PI对DPR反馈的满意度显著高于对评审小组反馈的满意度，尤其在被拒提案中：60%的DPR意见被评为‘大部分’或‘完全’有用，而评审小组仅30%。
- 自我评估的专家水平与匹配得分呈正相关，但存在差异——部分评审者尽管关键词完全匹配，仍自评为‘非专家’，表明可能存在自我评分偏差。
- 系统将评审小组工作量减少了一半，因为超过16小时的提案被转至DPR，同时确保评审小组对约80%观测时间的控制权。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。