[论文解读] The effect of novelty on the future impact of scientific grants

Han Zhuang, Daniel E. Acuña|arXiv (Cornell University)|Nov 7, 2019

scientometrics and bibliometrics research参考文献 34被引用 5

一句话总结

本研究利用机器学习方法，基于2008至2016年间来自170,000项NSF和NIH资助项目的920,000篇出版物，量化了资助时的资助项目新颖性，并将其与引用影响力关联。结果显示，完全新颖的资助项目产生的引用量约为完全渐进式资助项目的两倍，即使在控制了首席研究员经验、资助金额、出版年份、期刊声望和团队规模等因素后，该结论依然成立，为资助机构强调研究新颖性的政策提供了强有力的实证支持。

ABSTRACT

Government funding agencies and foundations tend to perceive novelty as necessary for scientific impact and hence prefer to fund novel instead of incremental projects. Evidence linking novelty and the eventual impact of a grant is surprisingly scarce, however. Here, we examine this link by analyzing 920,000 publications funded by 170,000 grants from the National Science Foundation (NSF) and the National Institutes of Health (NIH) between 2008 and 2016. We use machine learning to quantify grant novelty at the time of funding and relate that measure to the citation dynamics of these publications. Our results show that grant novelty leads to robust increases in citations while controlling for the principal investigator's grant experience, award amount, year of publication, prestige of the journal, and team size. All else held constant, an article resulting from a fully-novel grant would on average double the citations of a fully-incremental grant. We also find that novel grants produce as many articles as incremental grants while publishing in higher prestige journals. Taken together, our results provide compelling evidence supporting NSF, NIH, and many other funding agencies' emphases on novelty.

研究动机与目标

• 探究资助项目新颖性与未来科学影响力（以引用次数衡量）之间的关系。
• 确定资助项目的新颖性是否能独立于其他影响因素，预测更高的长期影响力。
• 评估新颖资助项目是否会产生更具影响力的出版物，包括更高的期刊声望和更大的引用产出。
• 为资助机构普遍推行的优先资助新颖研究而非渐进研究的政策提供实证证据。

提出的方法

• 利用机器学习模型，基于研究目标和研究范围的文本特征，量化资助项目在获得资助时的新颖性。
• 通过自然语言处理技术分析资助摘要和项目描述，捕捉其与现有研究的语义差异，以衡量新颖性。
• 收集所有资助项目在出版后5至8年窗口期内产生的引用次数，以评估长期影响力。
• 采用多元回归模型，隔离新颖性对引用数的影响，同时控制首席研究员经验、资助金额、出版年份、期刊声望和团队规模等混杂变量。
• 分析涵盖NSF和NIH的170,000项资助项目，共计920,000篇出版物，时间范围为2008至2016年。

实验结果

研究问题

• RQ1 在控制关键混杂因素后，资助项目的新颖性是否显著预测更高的未来引用影响力？
• RQ2 新颖资助项目产出的出版物在引用表现上与渐进式资助项目相比如何？
• RQ3 与渐进式资助项目相比，新颖资助项目是否更可能产生发表在更高声望期刊上的出版物？
• RQ4 新颖资助项目与渐进式资助项目在出版物数量上是否存在可测量的差异？

主要发现

• 在控制其他所有因素不变的情况下，来自完全新颖资助项目的论文获得的引用量约为来自完全渐进式资助项目的论文的两倍。
• 即使在控制首席研究员经验、资助金额、出版年份、期刊声望和团队规模后，新颖性对引用影响力的影响依然稳健。
• 新颖资助项目产生的出版物数量与渐进式资助项目相当，表明产出数量上不存在权衡。
• 来自新颖资助项目的出版物发表在更高声望的期刊上，表明其具有更高的可见性和质量。
• 研究结果为NSF和NIH等资助机构优先资助新颖研究的政策提供了强有力的实证支持。