[论文解读] The use of percentiles and percentile rank classes in the analysis of bibliometric data: Opportunities and limits

Lutz Bornmann, Loet Leydesdorff+1 more|arXiv (Cornell University)|Nov 2, 2012

scientometrics and bibliometrics research参考文献 23被引用 4

一句话总结

本文探讨了百分位数及百分位数等级在文献计量分析中的应用，强调其相较于基于均值的指标在处理偏态引用数据时的优势。文章指出了百分位数计算与等级分配中的关键挑战，强调需要采用标准化方法以确保不同研究之间的可比性。

ABSTRACT

Percentiles have been established in bibliometrics as an important alternative to mean-based indicators for obtaining a normalized citation impact of publications. Percentiles have a number of advantages over standard bibliometric indicators used frequently: for example, their calculation is not based on the arithmetic mean which should not be used for skewed bibliometric data. This study describes the opportunities and limits and the advantages and disadvantages of using percentiles in bibliometrics. We also address problems in the calculation of percentiles and percentile rank classes for which there is not (yet) a satisfactory solution. It will be hard to compare the results of different percentile-based studies with each other unless it is clear that the studies were done with the same choices for percentile calculation and rank assignment.

研究动机与目标

• 评估基于百分位数的指标相较于传统基于均值的指标在文献计量分析中的优势。
• 识别在引用数据中计算百分位数及分配百分位数等级的方法论挑战。
• 解决百分位数计算与等级分配中的不一致性，以促进不同研究之间的可比性。
• 推动在归一化引用影响力评估中使用百分位数的透明化与标准化。
• 为研究人员提供在应用基于百分位数的文献计量指标时的最佳实践指导。

提出的方法

• 使用模拟数据与实证数据，比较文献分析中基于百分位数的指标与基于均值的指标。
• 分析不同百分位数计算方法对最终等级分配的影响。
• 研究在文献计量中常见的偏态引用分布中百分位数的统计特性。
• 基于数据特征，提出选择合适百分位数计算技术的标准。
• 强调一致的等级分配方法对于实现跨研究比较的重要性。
• 综述现有文献，识别在百分位数应用方面方法论共识的缺失之处。

实验结果

研究问题

• RQ1 基于百分位数的指标相较于基于均值的指标，在引用影响力归一化方面有何改进？
• RQ2 在文献计量数据中计算百分位数及分配等级类别的关键方法论挑战是什么？
• RQ3 为何百分位数计算与等级分配的一致性对于不同文献计量研究之间的可比性至关重要？
• RQ4 在偏态引用分布中使用百分位数的统计局限性是什么？
• RQ5 研究人员如何标准化基于百分位数的方法，以增强可重复性与透明度？

主要发现

• 对于偏态的文献计量数据，百分位数比算术均值更为合适，因其能减少极端值的影响。
• 百分位数计算与等级分配方法的不一致，导致不同研究结果无法比较。
• 目前文献计量领域尚无计算百分位数及分配等级类别的通用接受方法。
• 百分位数计算方法的选择显著影响最终的等级分配结果及引用影响力解释。
• 标准化百分位数计算对于实现可靠的不同机构与跨研究比较至关重要。
• 本文识别出方法论共识中的关键空白，呼吁研究界采纳透明且一致的实践方法。