[论文解读] Percentile rank scores are congruous indicators of relative performance, or aren't they?

Ronald Rousseau|arXiv (Cornell University)|Aug 9, 2011

Multi-Criteria Decision Making参考文献 23被引用 8

一句话总结

本文主张，当正确定义时，百分位数排名分数是相对表现的契合指标，解决了其应用中的模糊性。它确立了百分位数排名在相对表现方面是契合的，而I3指标则严格契合绝对表现，澄清了文献计量评估指标中的概念差异。

ABSTRACT

Percentile ranks and the I3 indicator were introduced by Bornmann, Leydesdorff, Mutz and Opthof. These two notions are based on the concept of percentiles (or quantiles) for discrete data. As several definitions for these notions exist we propose one that we think is suitable in this context. Next we show that if the notion of relative congruous indicators is carefully defined then percentile rank scores are congruous indicators of relative performance. The I3 indicator is a strictly congruous indicator of absolute performance.

研究动机与目标

• 解决在绩效评估中百分位数排名分数定义与应用的模糊性。
• 澄清文献计量学中相对表现与绝对表现指标之间的概念差异。
• 在离散数据和百分位数的语境下，正式定义‘契合指标’。
• 证明在明确定义的框架下，百分位数排名分数是相对表现的契合指标。
• 将I3指标在绝对表现上的严格契合性与百分位数排名的相对契合性进行比较。

提出的方法

• 为离散数据提出百分位数排名的特定定义，以确保应用的一致性。
• 为相对表现与绝对表现情境量身定制‘契合指标’的正式框架。
• 将该框架应用于分析百分位数排名与I3指标的数学与概念属性。
• 运用逻辑与统计推理，表明当正确定义时，百分位数排名与相对表现一致。
• 将I3指标的严格契合性与百分位数排名的相对契合性进行对比。
• 采用理论分析而非实证数据，以确立概念上的有效性。

实验结果

研究问题

• RQ1 在明确定义的分位数框架下，百分位数排名分数是否是相对表现的契合指标？
• RQ2 在相对表现与绝对表现之间，‘契合指标’的概念有何不同？
• RQ3 在文献计量学中评估相对表现时，哪种百分位数排名定义最为合适？
• RQ4 为何I3指标对绝对表现严格契合，但对相对表现却不契合？
• RQ5 是否可以通过一致且数学上严谨的百分位数排名定义，解决绩效评估中的模糊性？

主要发现

• 当对离散数据应用一致的百分位数定义时，百分位数排名分数是相对表现的契合指标。
• I3指标对绝对表现严格契合，意味着它能准确反映表现差异的大小。
• 本文确立了契合性取决于百分位数的正确定义，尤其是在离散数据情境下。
• 以往百分位数排名应用中的差异源于定义不一致或模糊。
• 当契合性被正式定义时，相对表现与绝对表现指标之间的区别在概念与数学上均成立。
• 所提出的框架解决了在文献计量学中将百分位数排名解释为绩效指标时的模糊性。