[论文解读] Past Performance as Predictor of Successful Grant Applications: A Case Study

Peter van den Besselaar, Loet Leydesdorff|ArXiv.org|Nov 16, 2009

scientometrics and bibliometrics research参考文献 4被引用 8

一句话总结

本研究探讨了以往的研究表现是否能够预测在竞争性研究资助中的成功，基于荷兰研究资助的案例研究。研究发现，以往的表现是资助成功的强有力预测指标，但同行评审结果与客观表现指标之间并不一致，且性别和学科等因素也会影响资助结果。

ABSTRACT

Competitive allocation of research funding is a major mechanism within the science system. It is fundamentally based on the idea of peer review. Peer review is central in project selection as peers are considered to be in a unique position to identify and select the best and most innovative researchers and research projects. In this study, we assess the practice of peer-review based project selection. The basic question is "do the best researchers get the funding"? In other words, do peer review based quality indicators predict success in receiving funding? The next question to be answered is about the peer review. Do peer reviewers indeed recognize the best researchers, and subsequently, is the decision of the research council based on the outcomes of peer review? Finally, we answer the question whether other factors influence the probability of receiving funding, such as the role of co-applicants, the effects of gender, and the effect of the discipline of the application.

研究动机与目标

• 评估以往研究表现是否能可靠预测在竞争性资助中的成功。
• 评估同行评审是否能基于客观指标准确识别高绩效研究人员。
• 调查非表现因素（如性别、共同申请人和学科）对资助结果的影响。
• 确定研究理事会的资助决策主要由同行评审结果还是其他外部因素驱动。
• 分析真实研究资助体系中客观表现指标与实际资助分配之间的对齐程度。

提出的方法

• 分析荷兰研究资助理事会的资助申请数据集，包括出版物数量和引用影响力等表现指标。
• 使用统计建模方法，将以往表现指标与资助成功率相关联。
• 比较同行评审评分与客观表现指标，以评估一致性与预测有效性。
• 应用多元回归分析，分离性别、学科、共同申请人身份及表现对资助结果的影响。
• 采用案例研究方法，聚焦单一资助周期，以确保对个体申请的详细分析。
• 通过敏感性分析，并将同行评审决策与客观表现排名进行比较，验证研究发现。

实验结果

研究问题

• RQ1 以往研究表现在多大程度上能预测获得竞争性研究资助的成功？
• RQ2 同行评审是否能基于客观表现指标准确识别并排名最具生产力和影响力的科研人员？
• RQ3 除表现指标外，性别、学科和共同申请人身份等因素在多大程度上影响获得资助的概率？
• RQ4 研究理事会的资助决策在多大程度上与同行评审结果对齐，而非其他机构或结构性因素？
• RQ5 在同行评审资助体系中，客观研究表现与资助分配之间是否存在系统性错配？

主要发现

• 以往研究表现，特别是出版物数量和引用影响力，是资助成功强有力的、具有统计显著性的预测指标。
• 同行评审评分与客观表现指标之间仅呈现中等程度相关，表明在识别顶尖研究人员方面一致性有限。
• 在控制表现指标后，女性申请者获得资助的概率显著低于男性申请者。
• 学科差异对资助结果有显著影响，某些学科即使表现相当，其成功比例也明显更高。
• 高影响力共同申请人的存在显著提高资助成功率，表明机构声誉和人脉网络在个体表现之外也发挥重要作用。
• 研究理事会的资助决策仅部分与同行评审结果对齐，表明最终决策中可能存在非表现因素的影响。