[论文解读] Revisiting Relative Indicators and Provisional Truths

Loet Leydesdorff, Tobias Opthof|arXiv (Cornell University)|Aug 29, 2018

scientometrics and bibliometrics research参考文献 19被引用 4

一句话总结

本文主张通过重新审视科学计量评估中的相对指标与暂定真理，超越当前的统计方法，推进引文影响力指标的发展。它提出将非参数方法（如前10%引文阈值）整合到影响力评估中，以更好地应对引文分布的偏态，为传统z分数和预期引文比率提供更具稳健性的替代方案。

ABSTRACT

Following discussions in 2010 and 2011, scientometric evaluators have increasingly abandoned relative indicators in favor of comparing observed with expected citation ratios. The latter method provides parameters with error values allowing for the statistical testing of differences in citation scores. A further step would be to proceed to non-parametric statistics (e.g., the top-10%) given the extreme skewness (non-normality) of the citation distributions. In response to a plea for returning to relative indicators in the previous issue of this newsletter, we argue in favor of further progress in the development of citation impact indicators.

研究动机与目标

• 在相对指标被z分数等统计方法取代后，重新评估其在科学计量评估中的使用。
• 解决由于引文分布极度偏态，导致参数统计方法在引文分析中存在局限性的问题。
• 提出转向非参数方法（如前10%引文阈值）以实现更可靠的影响力评估。
• 回应呼吁回归相对指标的呼声，提供一种基于统计稳健性的方法论先进替代方案。
• 提升研究评估情境中引文影响力指标的有效性与可解释性。

提出的方法

• 通过将实际引文数量与预期引文比率进行比较，重新评估相对指标的使用。
• 利用预期引文模型推导出的误差值，对引文得分差异进行统计检验。
• 由于引文数量分布非正态，主张采用非参数统计方法。
• 引入前10%引文阈值作为传统指标的稳健替代方案。
• 强调在引文分析中使用暂定真理，以反映不确定性与情境依赖性。
• 将方法论严谨性与对引文影响力指标本质的的认识论反思相结合。

实验结果

研究问题

• RQ1 如何改进引文影响力指标，以更好地反映引文的非正态分布特征？
• RQ2 在科学计量评估中，使用z分数和预期引文比率存在哪些局限性？
• RQ3 非参数方法（如前10%阈值）在多大程度上能提升引文影响力评估的可靠性？
• RQ4 为何从相对指标转向统计比率的转变，导致了研究评估中的方法论缺陷？
• RQ5 ‘暂定真理’的概念如何提升学术评估中引文指标的可解释性？

主要发现

• 相对指标的使用被不当地边缘化，取而代之的是假设正态分布的参数统计方法。
• 引文分布高度偏态，使得z分数等参数检验在未经变换的情况下在统计上不适用。
• 非参数方法（如前10%引文阈值）为传统指标提供了更具稳健性与可解释性的替代方案。
• 带有误差值的预期引文比率提供了统计基础，但无法解决非正态性问题。
• ‘暂定真理’的概念支持对引文影响力指标进行更细致、情境敏感的解释。
• 向非参数指标的方法论转变，对于改善研究评估实践而言，既必要又可行。