[论文解读] Societal and scientific impact of policy research: A large-scale empirical study of some explanatory factors using Altmetric and Overton

Pablo Dorta–González, Alejandro Rodrı́guez+1 more|arXiv (Cornell University)|Mar 11, 2024

Social Capital and Networks被引用 4

一句话总结

这项大规模研究利用Altmetric和Overton数据，分析了近12.5万篇政策期刊文章中科学研究所影响政策制定的机制。研究发现，新闻提及、社交媒体互动以及非付费访问显著提升了政策引用率，而付费墙文章和完全开放获取文章在政策文件中被引用的可能性较低，凸显了科学传播在连接科研与政策之间所起的关键作用。

ABSTRACT

This study investigates how scientific research influences policymaking by analyzing citations of research articles in policy documents (policy impact) for nearly 125,000 articles across 434 public policy journals. We reveal distinct citation patterns between policymakers and other stakeholders like researchers, journalists, and the public. News and blog mentions, social media engagement, and open access publications (excluding fully open access) significantly increase the likelihood of a research article being cited in policy documents. Conversely, articles locked behind paywalls and those published under the full open access model (based on Altmetric data) have a lower chance of being policy-cited. Publication year and policy type show no significant influence. Our findings emphasize the crucial role of science communication channels like news media and social media in bridging the gap between research and policy. Interestingly, academic citations hold a weaker influence on policy citations compared to news mentions, suggesting a potential disconnect between how researchers reference research and how policymakers utilize it. This highlights the need for improved communication strategies to ensure research informs policy decisions more effectively. This study provides valuable insights for researchers, policymakers, and science communicators. Researchers can tailor their dissemination efforts to reach policymakers through media channels. Policymakers can leverage these findings to identify research with higher policy relevance. Science communicators can play a critical role in translating research for policymakers and fostering dialogue between the scientific and policymaking communities.

研究动机与目标

• 调查在大规模政策期刊文献中，影响科研文献被政策文件引用的因素。
• 识别学术引用、媒体报道和开放获取状态对政策影响力的影响程度。
• 检验发表年份、政策类型或研究学科是否显著影响科研文献被政策引用的可能性。
• 评估新闻媒体和社交媒体等科学传播渠道在提升政策制定者对科研成果采纳程度方面的作用。
• 为通过有针对性的传播与沟通实践，提升科研向政策转化的策略提供依据。

提出的方法

• 从434本公共政策期刊中收集了124,986篇文献的数据，重点关注其在政策文件中的引用情况。
• 使用Altmetric关注度评分来衡量媒体报道、社交媒体互动和新闻覆盖情况。
• 整合Overton数据，评估每篇文献的开放获取状态（如混合型与完全开放获取）及其类型。
• 采用多元逻辑回归模型，预测科研文献被政策文件引用的概率。
• 控制发表年份、期刊影响因子和研究学科等因素，以隔离传播与获取方式的影响。
• 通过子群组的稳健性检验和敏感性分析验证研究结果，确保结果的可靠性。

实验结果

研究问题

• RQ1 哪些传播与获取因素最能预测科研文献被政策文件引用的可能性？
• RQ2 媒体报道与社交媒体互动在影响政策引用方面，与学术引用相比如何？
• RQ3 开放获取模式类型（如混合型与完全开放获取）是否会影响政策引用的概率？
• RQ4 发表年份与政策类型在多大程度上调节科研可见性与政策影响力之间的关系？
• RQ5 新闻提及对预测政策引用的影响，与学术引用相比如何？

主要发现

• 新闻提及和社交媒体互动显著提高了科研文献被政策文件引用的可能性，且新闻提及的影响强于学术引用。
• 具有非付费访问权限的文献（如订阅制或混合型开放获取）比完全开放获取文献更可能被政策文件引用，表明获取模式具有重要影响。
• 付费墙文章的政策引用可能性较低，表明尽管学术可见性高，受限访问仍会降低其政策相关性。
• 与媒体报道相比，学术引用对政策引用的预测能力更弱，揭示了学术界与政策界之间可能存在脱节。
• 发表年份与政策类型对政策引用可能性无统计学显著影响，表明政策采纳在时间与部门上具有中性特征。
• 媒体可见性与开放获取（完全开放获取除外）的结合使政策引用概率最高，凸显了战略性传播的重要性。