[论文解读] The weakening relationship between the Impact Factor and papers' citations in the digital age

George A. Lozano, Vincent Larivière+1 more|arXiv (Cornell University)|May 19, 2012

scientometrics and bibliometrics research参考文献 17被引用 4

一句话总结

本研究分析了1902年至2009年间期刊影响因子（IF）与单篇论文引用次数之间相关性下降的现象，表明自1990年以来，由于数字化转型，两者关系已减弱。向在线访问的转变使得论文可基于其学术价值被引用，而非依赖期刊声望，从而降低了IF对单篇论文影响力的预测能力——尤其在更早采用数字格式的物理学领域表现明显。

ABSTRACT

Historically, papers have been physically bound to the journal in which they were published but in the electronic age papers are available individually, no longer tied to their respective journals. Hence, papers now can be read and cited based on their own merits, independently of the journal's physical availability, reputation, or Impact Factor. We compare the strength of the relationship between journals' Impact Factors and the actual citations received by their respective papers from 1902 to 2009. Throughout most of the 20th century, papers' citation rates were increasingly linked to their respective journals' Impact Factors. However, since 1990, the advent of the digital age, the strength of the relation between Impact Factors and paper citations has been decreasing. This decrease began sooner in physics, a field that was quicker to make the transition into the electronic domain. Furthermore, since 1990, the proportion of highly cited papers coming from highly cited journals has been decreasing, and accordingly, the proportion of highly cited papers not coming from highly cited journals has also been increasing. Should this pattern continue, it might bring an end to the use of the Impact Factor as a way to evaluate the quality of journals, papers and researchers.

研究动机与目标

• 探究期刊影响因子与单篇论文引用次数之间的关系随时间的演变。
• 评估数字出版对期刊声誉在塑造引用模式方面的影响。
• 确定论文在其原始期刊之外日益可及是否削弱了影响因子的预测能力。
• 考察该趋势在不同学科间的差异，特别是物理学与其他学科的对比。
• 评估IF与论文引用相关性持续下降是否可能使IF在未来作为研究评价指标失去效用。

提出的方法

• 分析1902年至2009年间多个科学学科的引用数据。
• 测量发表于这些期刊的单篇论文的实际引用次数与期刊影响因子之间的相关性。
• 比较1990年之前与之后的引用模式趋势，以识别广泛数字访问开始的时间点。
• 追踪高影响力论文中来自高影响力期刊与非高影响力期刊的比例随时间的变化。
• 使用统计分析检测各学科中IF-引用关系强度的变化，尤其关注物理学领域。
• 采用纵向数据评估期刊层面指标对单篇论文影响力影响的变化。

实验结果

研究问题

• RQ1 1902年至2009年间，期刊影响因子与单篇论文引用次数之间的相关性如何变化？
• RQ2 IF与论文引用关系的弱化始于何时？哪些因素促成了这一转变？
• RQ3 向在线出版的数字化转型如何影响期刊声誉在引用行为中的作用？
• RQ4 高影响力论文中来自非高影响力期刊的比例在不同学科间差异有多大？
• RQ5 IF与论文引用相关性持续下降是否可能导致IF作为研究评价工具的过时？

主要发现

• 自1990年以来，期刊影响因子与单篇论文引用次数之间的相关性持续减弱，表明在数字时代，期刊声望对预测论文影响力的作用已降低。
• 在物理学领域，该相关性下降更早出现，因为该领域比其他学科更早实现数字化出版。
• 自1990年以来，来自高影响力期刊的高引用论文比例下降，而来自非高影响力期刊的高引用论文比例则上升。
• 该趋势表明，论文正越来越多地因其内在学术价值而被引用，而非因其发表期刊的声誉。
• 关系的弱化意味着，若当前趋势持续，影响因子可能失去作为衡量单篇论文或研究人员质量代理指标的效用。
• 研究结果对持续将影响因子作为评估研究质量的主要指标提出质疑，尤其是在数字可及性高的学科中。