[论文解读] Towards a new crown indicator: An empirical analysis

Ludo Waltman, Nees Jan van Eck+3 more|arXiv (Cornell University)|Apr 9, 2010

scientometrics and bibliometrics research参考文献 16被引用 5

一句话总结

本文实证比较了两种用于基于引文的研究绩效指标的归一化机制：当前的 CWTS 冠状指标（CPP/FCSm）与一种基于领域和年份归一化引文比率的新型指标（MNCS）。MNCS 指标对所有出版物一视同仁，避免加权偏差，在高聚合水平（如国家、机构）下与 CPP/FCSm 的差异极小，但在较低水平（如研究组、期刊）下差异更为显著，尤其由于近期引用次数较低的出版物引入了噪声。

ABSTRACT

We present an empirical comparison between two normalization mechanisms for citation-based indicators of research performance. These mechanisms aim to normalize citation counts for the field and the year in which a publication was published. One mechanism is applied in the current so-called crown indicator of our institute. The other mechanism is applied in the new crown indicator that our institute is planning to adopt. We find that at high aggregation levels, such as at the level of large research institutions or at the level of countries, the differences between the two mechanisms are very small. At lower aggregation levels, such as at the level of research groups or at the level of journals, the differences between the two mechanisms are somewhat larger. We pay special attention to the way in which recent publications are handled. These publications typically have very low citation counts and should therefore be handled with special care.

研究动机与目标

• 评估用基于归一化引文比率的新归一化机制（MNCS）替代当前 CWTS 冠状指标（CPP/FCSm）的实证影响。
• 评估两种归一化机制之间的差异对不同聚合水平（包括研究组、机构、国家和期刊）绩效排名的影响。
• 研究近期出版物（尤其是引用次数较低的出版物）对新 MNCS 指标的影响，该指标对所有出版物同等对待，无论其年龄如何。
• 确定排除近期出版物是否能改善传统 CPP/FCSm 与新 MNCS 指标之间的一致性。

提出的方法

• 本研究比较了两种归一化机制：传统的 CPP/FCSm（实际引用次数总和除以预期引用次数总和）与新的 MNCS（实际引用次数与预期引用次数比率的平均值）。
• 分析涵盖四个聚合水平：研究组、研究机构、国家和期刊，使用来自 Web of Science 数据库的实证引文数据。
• MNCS 指标以两种变体计算：MNCS1 包含所有出版物，而 MNCS2 排除引用历史不足一年的出版物。
• 通过比较数据集中的排名和相关系数来评估两种指标的表现，重点关注近期出版物引起的差异。
• 使用相关性分析和排名相似性度量进行统计比较，以评估 CPP/FCSm 与两种 MNCS 变体之间的一致性。
• 研究极端案例，如引文模式高度偏斜的期刊（例如《Acta Crystallographica Section A》），以理解高引用异常值对指标的影响。

实验结果

研究问题

• RQ1 在研究组、机构、国家和期刊等不同聚合水平下，CPP/FCSm 与 MNCS 指标在绩效排名方面如何比较？
• RQ2 两种归一化机制之间的差异在多大程度上源于对近期引用次数较低出版物的处理？
• RQ3 排除引用历史不足一年的出版物如何影响 CPP/FCSm 与 MNCS 指标之间的一致性？
• RQ4 为何某些期刊在 CPP/FCSm 与 MNCS1 之间显示显著差异，而与其他期刊相比在 MNCS2 上表现出更强的一致性？
• RQ5 《Acta Crystallographica Section A》为何在三种指标间表现出截然不同的得分？

主要发现

• 在国家和大型研究机构等高聚合水平上，CPP/FCSm 与 MNCS 指标产生的排名几乎完全相同，得分差异极小。
• 在研究组和期刊等较低聚合水平上，CPP/FCSm 与 MNCS 指标之间的差异更为显著，尤其在引文模式极端的期刊中。
• 期刊《Acta Crystallographica Section A》的 CPP/FCSm 得分为 17.68，MNCS1 得分为 32.28，MNCS2 得分为 2.14，这是由于 2008 年发表的一篇高度被引文章所致。
• 排除引用历史不足一年的出版物显著提高了 CPP/FCSm 与 MNCS 指标之间的相关性，尤其在研究组和期刊层面。
• MNCS1 指标对近期高影响力出版物更为敏感，而 MNCS2 指标（排除此类出版物）虽减少了噪声，但可能低估长期影响力。
• 本研究得出结论：两种指标之间的差异部分源于近期引用次数较低的出版物引入的噪声，这些出版物在 MNCS 框架中被同等加权。