[论文解读] Overton -- A bibliometric database of policy document citations

Martin Szomszor, Euan Adie|arXiv (Cornell University)|Jan 19, 2022

scientometrics and bibliometrics research被引用 16

一句话总结

本文评估了Overton——一个索引政策文件及其对学术文献引用的书目计量数据库。研究证明，Overton能够为健康、经济学和环境政策等学科提供领域归一化的引用指标，其与自报资助结果的相关性较强，与同行评审影响力评估的相关性中等，从而实现了超越传统引用的自动化影响力评估。

ABSTRACT

This paper presents an analysis of the Overton policy document database, describing the makeup of materials indexed and the nature in which they cite academic literature. We report on various aspects of the data, including growth, geographic spread, language representation, the range of policy source types included, and the availability of citation links in documents. Longitudinal analysis over established journal category schemes is used to reveal the scale and disciplinary focus of citations and determine the feasibility of developing field-normalized citation indicators. We examine how well self-reported funding outcomes collected by UK funders corresponds to data indexed in the Overton database, and if peer-review assessment of impact as measured by the UK Research Excellence Framework (REF) 2014 correlates with derived citation metrics. Our findings show that for some research topics, such as health, economics, social care and the environment, Overton contains a core set of policy documents with sufficient citation linkage to academic literature to support various citation analysis that may be informative in research evaluation, impact assessment, and policy review. The data indexed in Overton agrees with that collected via self-reporting of funding outcomes, and correlates with peer-review assessment of impact in some disciplines.

研究动机与目标

• 评估将政策文件引用作为科研评价书目计量数据源的可行性。
• 评估Overton数据库的覆盖范围、地理和学科分布以及引用链接质量。
• 检验Overton的引用数据与英国资助机构自报资助成果的相关性。
• 探究英国REF2014同行评审影响力评估与政策引用指标之间的关系。
• 确定Overton在发展受政策影响研究领域的领域归一化引用指标方面的潜力。

提出的方法

• 本研究分析了Overton数据库中超过3万项政策来源（包括政府机构、 think tanks、国际政府间组织和慈善机构）自2000年至2021年的索引数据。
• 采用纵向分析方法，基于既定的期刊类别体系（如ASJC）评估各学科的引用数量和分布情况。
• 研究人员将Overton提取的引用数据与英国资助机构提供的自报政策影响力数据进行对比，以评估其一致性。
• 将英国研究卓越框架（REF）2014的同行评审影响力评分与Overton推导出的引用指标进行相关性分析。
• 通过各学科层级的引用数量（每领域至少250篇论文）评估引用延迟、分布模式及归一化的可行性。
• 将引用分布与已知的替代计量指标模式进行比较，特别是Mendeley和社交媒体数据中观察到的对数正态分布趋势。

实验结果

研究问题

• RQ1 Overton的数据覆盖范围在多大程度上支持发展领域归一化的引用指标？
• RQ2 Overton的引用指标与英国资助机构自报的政策影响力成果的相关性如何？
• RQ3 英国REF2014中，政策引用影响力与同行评审评估影响力之间是否存在可测量的相关性？
• RQ4 Overton中被引用的政策文件在地理和语言多样性方面如何？与学术产出相比有何差异？
• RQ5 不同政策组织的引用延迟模式有何差异？这些模式揭示了政策中证据使用的何种特征？

主要发现

• 自2000年以来，Overton每年索引超过20万份政策文件，包含超过800万条参考文献，其中每年有20万至40万条引用指向学术期刊。
• 88%的索引PDF文件缺乏DOI，但约20万份核心文档具备足够的引用链接，可支持书目计量分析。
• 在2000至2018年期间，获得任何政策引用的88%的学术文章，均可使用ASJC学科类别实现领域归一化，表明领域归一化指标具有高度可行性。
• Overton的引用数据与英国资助机构自报的政策影响力成果之间存在强相关性，表明其具备实现自动化报告的潜力。
• 在特定评估单元（Units of Assessment）中，同行评审影响力评分与政策引用排名之间存在中等程度的相关性，表明其在影响力基准化方面具有实用价值。
• Overton中的引用分布遵循对数正态分布模式，与其他替代计量指标相似，支持统计建模与归一化处理。