[论文解读] Normalizing the measurement of citation performance: Principles for comparing sets of documents

Loet Leydesdorff, Lutz Bornmann+2 more|arXiv (Cornell University)|Jan 20, 2011

Advanced Text Analysis Techniques参考文献 3被引用 4

一句话总结

本文提出了一种使用百分位数排名的归一化引文表现比较框架，以公平地评估不同参考集和样本大小的文档集合。研究显示，当将集合视为单一总体的子样本时，传统引文指标与新的归一化指标之间可能存在负相关，凸显了引文分析方法论一致性的重要性。

ABSTRACT

Using citation analysis, sets of documents can be compared as independent samples; for example, in terms of average citation counts using potentially different reference sets. From this perspective, the size of samples matters only for the identification of significant differences and estimating margins of error. Using the percentile rank approach, differences among citation distributions can be studied non-parametrically and in a single scheme. Comparison among the sets clarifies that the different sizes of samples affect the weighing of the probabilities and therefore the rankings. We distinguish among (1) the normalization of papers against external reference sets, (2) normalization in terms of frequencies relative to the margin-totals of independent versus dependent samples, and (3) the potentially normative definition of percentile rank classes for the evaluation (e.g., top-1% most highly cited, median, etc.). When the sets to be evaluated are considered as subsamples of a single sample, the consequent citation indicator can be negatively correlated to citation indicators used hitherto.

研究动机与目标

• 解决在比较不同大小和参考集的文档集合时引文表现评估不一致的问题。
• 开发一种非参数方法，用于比较引文分布，而无需假设正态分布或方差齐性。
• 阐明样本大小和参考集选择如何影响引文分析中的概率加权和排序。
• 提出一种标准化、规范化的百分位数等级类定义（例如，前1%、中位数），以实现在不同学科间的一致性评估。

提出的方法

• 使用百分位数排名方法对引文数量进行归一化，从而实现在独立文档集合之间的非参数比较。
• 将多个文档集合视为单一合并样本的子样本，以推导统一的引文指标。
• 在列联表中相对于边缘总计应用基于频率的归一化，以调整样本大小和参考集差异。
• 区分三种归一化类型：外部参考集归一化、基于频率的归一化以及规范化的百分位数等级类定义。
• 使用统计推断评估引文差异的显著性及误差范围，且独立于样本大小。
• 证明在子样本假设下，传统引文指标（例如，平均引文数）可能与新提出的归一化指标呈负相关。

实验结果

研究问题

• RQ1 如何在不同大小和参考集的文档集合之间实现公平的引文表现比较？
• RQ2 样本大小和参考集选择对引文指标的概率加权和排序有何影响？
• RQ3 当将多个文档集合视为单一总体的子样本时，如何影响引文指标的有效性？
• RQ4 使用百分位数排名来定义规范性引文类别（例如，前1%）有何影响？
• RQ5 为何传统引文指标可能与新提出的归一化指标呈负相关？

主要发现

• 百分位数排名方法可在不假设参数分布的前提下，实现在不同参考集之间的引文分布非参数比较。
• 样本大小和参考集差异显著影响概率加权，从而影响引文排名。
• 当文档集合被视为单一总体的子样本时，新的引文指标可能与传统引文度量呈负相关。
• 在列联表中使用边缘总计进行归一化，为比较独立和依赖样本的引文频率提供了统计上可靠的方法。
• 将百分位数排名类（例如，前1%）定义为规范性基准，可提高引文评估的一致性和公平性。
• 本研究揭示，当未充分考虑样本构成和参考集变异时，现有引文指标可能具有误导性。