[论文解读] Reliability and Comparability of Peer Review Results

Nadine Rons, Eric Spruyt|arXiv (Cornell University)|Jul 26, 2013

scientometrics and bibliometrics research参考文献 5被引用 3

一句话总结

本研究通过分析比利时两所大学的研究团队评审结果，调查学术评价中同行评审的可靠性与可比性。研究发现，由于评分标准不一致，同行评审结果存在显著差异，建议通过建立标准化参考水平和可靠性检查来提高一致性；引用分析显示，同行评审结果与引用指标的匹配度因学科领域和指标类型而异，结果不一。

ABSTRACT

In this paper peer review reliability is investigated based on peer ratings of research teams at two Belgian universities. It is found that outcomes can be substantially influenced by the different ways in which experts attribute ratings. To increase reliability of peer ratings, procedures creating a uniform reference level should be envisaged. One should at least check for signs of low reliability, which can be obtained from an analysis of the outcomes of the peer evaluation itself. The peer review results are compared to outcomes from a citation analysis of publications by the same teams, in subject fields well covered by citation indexes. It is illustrated how, besides reliability, comparability of results depends on the nature of the indicators, on the subject area and on the intrinsic characteristics of the methods. The results further confirm what is currently considered as good practice: the presentation of results for not one but for a series of indicators.

研究动机与目标

• 评估比利时大学研究团队同行评审结果的可靠性。
• 研究专家评分实践的差异如何影响同行评审结果的一致性与有效性。
• 将同行评审结果与引用分析结果进行比较，以评估不同评价指标之间的可比性。
• 识别影响研究评价可靠性与可比性的方法论因素。
• 提出程序性改进建议，如标准化参考水平和可靠性检查，以实现更一致的同行评审实践。

提出的方法

• 收集专家对比利时两所大学研究团队的同行评审评分。
• 分析评审者之间评分模式的差异，以评估可靠性与一致性。
• 对同一研究团队的出版物进行引用分析，使用在覆盖较全的学科领域中的引用索引。
• 将同行评审结果与基于引用的指标进行比较，以评估一致性与可比性。
• 通过评估结果的统计分析，检测评审过程中可靠性较低的迹象。
• 评估学科领域与指标类型对同行评审与基于引用的结果可比性的影响。

实验结果

研究问题

• RQ1 专家在评分方式上的差异在多大程度上导致同行评审结果的变异？
• RQ2 同行评审结果与同一研究团队的引用分析结果在多大程度上可比？
• RQ3 学科领域特征与指标类型在评价结果的可靠性与可比性中起什么作用？
• RQ4 通过标准化参考水平与内部一致性检查，能否提升同行评审的可靠性？
• RQ5 哪些指标最能支持可信且可比的研究评价结果？

主要发现

• 由于专家评分实践不一致，同行评审结果表现出显著变异性，表明其可靠性较低。
• 研究发现，不同专家使用不同的参考基准进行评分，严重削弱了评分的一致性。
• 引用分析结果与同行评审结果仅部分一致，且一致性因学科领域而异。
• 同行评审的可靠性受指标选择及评价方法内在特征的影响显著。
• 研究证实，通过多种指标呈现结果可提升评价的稳健性与可信度。
• 可通过评估结果的内部分析检测同行评审中可靠性较低的迹象，支持实施此类检查的必要性。