[论文解读] Policy documents as sources for measuring societal impact: How is climate change research perceived in policy documents?

Lutz Bornmann, Robin Haunschild+1 more|arXiv (Cornell University)|Dec 22, 2015

demographic modeling and climate adaptation参考文献 26被引用 5

一句话总结

本研究评估了利用Altmetric获取的政策文件提及情况，作为衡量气候变化研究社会影响的新型指标。在191,276篇气候变化相关出版物中，仅有1.2%（2,341篇）被提及于政策文件中，顶尖期刊（如《Nature》、《Science》）及特定领域（如地球科学、社会/经济地理学）表现出更高的政策相关性，表明政策参与度虽有限但具有针对性。

ABSTRACT

In the current UK Research Excellence Framework (REF) and the Excellence in Research for Australia (ERA) societal impact measurements are inherent parts of the national evaluation systems. In this study, we deal with a relatively new form of societal impact measurements. Recently, Altmetric - a start-up providing publication level metrics - started to make data for publications available which have been mentioned in policy documents. We regard this data source as an interesting possibility to specifically measure the (societal) impact of research. Using a comprehensive dataset with publications on climate change as an example, we study the usefulness of the new data source for impact measurement. Only 1.2 percent (2341) out of 191276 publications on climate change in the dataset have at least one policy mention. We further reveal that papers published in Nature and Science as well as from the areas Earth and related environmental sciences and Social and economic geography are especially relevant in the policy context. Given the low coverage of the climate change literature in policy documents, this study can be only a first attempt to study this new source of altmetric data. Further empirical studies are necessary in upcoming years, because mentions in policy documents are of special interest in the use of altmetric data for measuring target-oriented the broader impact of research.

研究动机与目标

• 评估政策文件提及作为研究评估中衡量社会影响新指标的潜力。
• 利用Altmetric数据调查气候变化研究在官方政策文件中被引用的程度。
• 识别最可能在政策语境中被引用的出版物特征和研究领域。
• 评估将政策提及作为研究评估框架中目标导向影响测量工具的可行性和局限性。

提出的方法

• 使用来自学术数据库的191,276篇气候变化研究出版物的综合数据集。
• 从Altmetric获取政策提及信息，该平台追踪出版物在官方政策文件中的引用情况。
• 按期刊（如《Nature》、《Science》）、研究领域（如地球科学、社会地理学）和出版类型对出版物进行分类。
• 计算至少有一条政策提及的出版物所占比例，以评估整体覆盖范围。
• 识别并分析不同期刊和研究学科中政策引用的模式。
• 使用描述性统计和列联表分析，比较不同出版类型和学科领域的引用频率。

实验结果

研究问题

• RQ1 根据Altmetric数据，气候变化研究出版物中有多少比例被提及于政策文件中？
• RQ2 哪些期刊和研究领域显示出最高的政策文件提及率？
• RQ3 研究在政策文件中的引用情况如何随出版平台和学术学科而变化？
• RQ4 政策文件提及在多大程度上可作为研究评估中可靠且有意义的社会影响指标？

主要发现

• 在数据集中的191,276篇气候变化研究出版物中，仅有1.2%（2,341篇）在至少一份政策文件中被提及。
• 发表于《Nature》和《Science》等高影响力期刊的出版物，更有可能在政策文件中被引用。
• 地球科学及相关环境科学，以及社会与经济地理学领域的研究，其政策引用率高于平均水平。
• 整体覆盖度较低表明，政策提及是一种小众但潜在有价值的影响力指标。
• 研究结果表明，政策文件提及可作为目标导向的影响评估指标，但需进一步实证验证。
• 本研究强调，未来研究需探索该数据源在纵向评估中的一致性和可靠性。