[论文解读] Superiority of the $h$-index over the Impact Factor for Physics

Casey W. Miller|ArXiv.org|Aug 17, 2006

Big Data Technologies and ApplicationsDecision Sciences被引用 17

一句话总结

本文主张，与期刊影响因子（IF）相比，h指数是评估物理学期刊的更优指标，因其更能反映同行评审的研究质量，并减少来自跨学科及综述型期刊的偏倚。基于《自然》和《科学》等跨学科期刊中物理学论文的引文数据，研究显示，物理评论快报（Physical Review Letters）的h指数高于这些顶级期刊，与物理学家对期刊声望的认知一致。

ABSTRACT

Focusing specifically on physics periodicals, I show that the journal Impact Factor is not correlated with Hirsch's $h$-index. This implies that the Impact Factor is not a good measure of research quality or influence because the $h$-index is a reflection of peer review, and thus a strong indicator of research quality. The impact gap between multidisciplinary journals and physics-only journals is significantly reduced when $h$ is used instead of the Impact Factor. Additionally, the impact of journals specializing in review articles is inherently deflated using $h$ because of the limited number of annual publications in such periodicals. Finally, a reordering of the top ranking journals occurs with $h$ when only the physics articles of multidisciplinary journals are considered, falling more in line with the average physicist's interpretation of a journal's prestige.

研究动机与目标

• 挑战期刊影响因子（IF）作为物理学研究质量衡量标准的有效性。
• 评估h指数是否能更准确、更符合同行评审标准地反映物理学期刊的影响力。
• 使用h指数及一种新变体ℏ指数，量化并比较纯物理学期刊与跨学科期刊的影响。
• 通过从《自然》和《科学》等跨学科期刊中过滤出物理学相关内容，解决期刊排名中的不一致问题。
• 证明h指数更能反映物理评论快报等期刊的真实科学影响力，后者历来被视为最负盛名的物理学期刊。

提出的方法

• 通过按引文数量对期刊文章进行排序，并确定最高排名h，使得前h篇论文每篇至少有h次引用，从而计算期刊的h指数。
• 引入ℏ指数作为h指数的几何变体，定义为ℏ = √(α/2)，其中α为总引文数，以更好地捕捉高被引和中等被引论文的影响。
• 采用基于文本的过滤方法，通过扫描参考文献中的物理学特定关键词字符串（如“phys rev”、“j phys b”）识别跨学科期刊中的物理学论文，并排除非物理学参考文献。
• 通过调整每篇文章中物理学参考文献的百分比对过滤器进行调优，并为满足各阈值的论文子集计算h指数和ℏ指数。
• 对物理学参考文献占比为20%–50%的数据点进行线性拟合，外推得出《自然》和《科学》等期刊中纯物理学内容的h指数和ℏ指数。
• 将物理评论快报、《自然》和《科学》等期刊的h指数和ℏ指数进行比较，以评估其相对声望及与专家意见的一致性。

实验结果

研究问题

• RQ1 鉴于影响因子缺乏公开数据且易受操纵，它是否能作为物理学研究质量的可靠指标？
• RQ2 h指数与影响因子相比，在物理学期刊排名中表现如何，特别是在反映同行评审质量与科学影响力方面？
• RQ3 由于非物理学内容和综述文章的存在，像《自然》和《科学》这样的跨学科期刊在影响因子排名中是否被过度高估？
• RQ4 h指数与ℏ指数能否提供更准确且一致的物理学期刊排名，特别是在从跨学科期刊中分离出物理学相关内容后？
• RQ5 h指数是否更能与专家对期刊声望的认知保持一致，如物理评论快报的历史地位所示？

主要发现

• 物理学领域的影响因子与h指数之间无显著相关性，表明IF无法反映真实的科研质量或影响力。
• 物理评论快报的h指数（h = 263）高于《自然》期刊物理学子集的h指数（外推得h = 285），证实其在物理学领域地位更优。
• 物理评论快报的ℏ指数（ℏ = 869）显著高于《自然》期刊物理学子集的ℏ指数（ℏ = 499），进一步验证其更高的科学影响力。
• h指数有效降低了综述类期刊（如《现代物理评论》）的夸大影响，这些期刊因出版量低且引用率高而具有高IF。
• 分析表明，像《自然》和《科学》这样的跨学科期刊因非物理学内容而具有不成比例高的IF，从而扭曲了其在物理学领域的影响力认知。
• 《自然》期刊物理学子集的h指数经外推至100%物理学内容后，得h_phys = 285，ℏ_phys = 499，表明纯物理学期刊的实际影响力高于IF排名所显示。