[论文解读] What do we know about the disruption index in scientometrics? An overview of the literature

Christian Leibel, Lutz Bornmann|arXiv (Cornell University)|Aug 4, 2023

scientometrics and bibliometrics research参考文献 77被引用 6

一句话总结

本文对科学计量学中的干扰指数（DI1）及其变体进行了全面综述，分析了其技术特性、有效性及局限性。研究发现，尽管DI1在科学政策研究中广受欢迎，但其变体如DI5展现出更强的收敛效度，而这些指数普遍存在时间敏感性和数据诱导偏差，因此在应用时需格外谨慎，并亟需对‘干扰’作为理论构念的进一步研究。

ABSTRACT

The purpose of this paper is to provide a review of the literature on the original disruption index (DI1) and its variants in scientometrics. The DI1 has received much media attention and prompted a public debate about science policy implications, since a study published in Nature found that papers in all disciplines and patents are becoming less disruptive over time. This review explains in the first part the DI1 and its variants in detail by examining their technicaland theoretical properties. The remaining parts of the review are devoted to studies that examine the validity and the limitations of the indices. Particular focus is placed on (1) possible biases that affect disruption indices (2) the convergent and predictive validity of disruption scores, and (3) the comparative performance of the DI1 and its variants. The review shows that, while the literature on convergent validity is not entirely conclusive, it is clear that some modified index variants, in particular DI5, show higher degrees of convergent validity than DI1. The literature draws attention to the fact that (some) disruption indices suffer from inconsistency, time-sensitive biases, and several data-induced biases. The limitations of disruption indices are highlighted and best practice guidelines are provided. The review encourages users of the index to inform about the variety of DI1 variants and to apply the most appropriate variant. More research on the validity of disruption scores as well as a more precise understanding of disruption as a theoretical construct is needed before the indices can be used in the research evaluation practice.

研究动机与目标

• 系统回顾2017年至今发表的关于科学计量学中干扰指数（DI1）及其变体的文献。
• 考察DI1及其改进形式的技术与理论特性。
• 评估干扰指数在研究评估中所受有效性、局限性及偏差的影响。
• 为实证研究中使用干扰指数提供最佳实践指南。
• 识别现有研究中的空白，并为改进干扰度量的概念与方法论基础提出未来研究方向。

提出的方法

• 对2017年以来发表的关于DI1及其变体的同行评审文献进行系统性回顾。
• 分析DI1及其变体的数学公式，包括引文窗口选择与阈值设定策略。
• 利用来自不同科学领域的实证研究，评估干扰得分的收敛效度与预测效度。
• 识别并分类影响干扰指数的偏差，包括时间敏感性、引文窗口依赖性以及数据诱导偏差。
• 基于实证证据，比较不同变体（如DI1、DI5、mED(rel)、Origbase）在有效性与可靠性方面的表现。
• 为研究人员和评估者提供透明、基于证据的建议，以选择并应用最合适的变体。

实验结果

研究问题

• RQ1 原始干扰指数（DI1）及其变体的技术与理论特性是什么？
• RQ2 干扰指数在不同科学领域中在多大程度上表现出收敛效度与预测效度？
• RQ3 影响干扰得分可靠性与一致性的主要偏差有哪些？
• RQ4 不同干扰指数变体（如DI5）在有效性与稳健性方面如何比较？
• RQ5 时间敏感性与引文窗口选择对使用干扰指数进行纵向研究有何影响？

主要发现

• 与原始DI1相比，DI5展现出更高的收敛效度，表明其可能是更可靠的变体。
• 干扰指数显著受到时间敏感性偏差的影响，可能导致历史比较与趋势分析失真。
• 数据诱导偏差（如引文窗口选择与最低引用阈值）可能损害干扰得分的一致性与有效性。
• 文献表明，干扰得分与传统引文影响力存在显著相关性，挑战了‘影响力指标无法识别颠覆性成果’的假设。
• 目前对干扰得分与特定类型新颖性之间关系尚无共识，关于理论创新或方法论创新是否驱动干扰，研究结果存在矛盾。
• 未来研究亟需明确‘干扰’的理论定义，并探索mED(rel)与Origbase等较少为人知的变体在多样化研究情境中的表现。