[论文解读] Solo citations, duet citations, and prelude citations: New measures of the disruption of academic papers

Qiang Wu, Zhaoyang Yan|arXiv (Cornell University)|May 9, 2019

scientometrics and bibliometrics research参考文献 12被引用 9

一句话总结

本文引入三种基于引用的新型度量指标——独奏引用（SC）、二重奏引用（DC）和序曲引用（PC），用于衡量学术论文的颠覆性，类比音乐概念。提出了一般性评估公式，并识别出SC、SC-DC、SC/(SC+DC)和(SC-DC)/(SC+DC)为在逻辑与实证上均最合理的指标，适用于评估研究创新性。

ABSTRACT

It is important to measure the disruption of academic papers. According to the characteristics of three different kinds of citations, this paper borrows musical vocabulary and names them solo citations (SC), duet citations (DC), and prelude citations (PC) respectively. Studying how to measure the disruption of a published work effectively, this study analyzes nine indicators and suggests a general evaluation formula. Seven of the nine indicators are innovations introduced by this paper: SC, SC-DC, SC-PC, SC-DC-PC, (SC-DC)/(SC+DC), (SC-PC)/(SC+DC), and (SC-DC-PC)/(SC+DC), as is the general formula. These indices are discussed considering two cases: One case concerns the Citation Indexes for Science and the other concerns Co-citations. The results show that, compared with other indicators, four indicators (SC, SC-DC, SC/(SC+DC), and (SC-DC)/(SC+DC)) are logically and empirically reasonable. Future research may consider combining these indices, for example, using SC multiplied by SC/(SC+DC) or SC-DC multiplied by (SC-DC)/(SC+DC), to get final evaluation results that contain desirable characteristics of two types of indicators. Confirming which of the evaluation results from these indicators can best reflect the innovation of research papers requires much empirical analysis.

研究动机与目标

• 开发新的、有意义的度量指标，以超越传统引用次数，衡量学术论文的颠覆性。
• 通过引入基于引用模式的上下文敏感度量，解决现有引用指标的局限性。
• 在两种引用情境下（引文索引与共引用），评估九种提出的基于引用的指标在逻辑与实证上的有效性。
• 识别出能有效反映研究论文创新性与颠覆性影响的最稳健指标。
• 提出一个结合多个指标的一般性评估公式，以提升研究影响的评估效果。

提出的方法

• 提出三种新的引用类型：独奏引用（SC）、二重奏引用（DC）和序曲引用（PC），灵感源自音乐术语。
• 定义九种新型指标：SC、SC-DC、SC-PC、SC-DC-PC、(SC-DC)/(SC+DC)、(SC-PC)/(SC+DC)以及(SC-DC-PC)/(SC+DC)，其中SC+DC作为分母以实现归一化。
• 将这些指标应用于两种引用情境：科学引文索引与共引用网络。
• 利用真实引用数据，实证评估指标的逻辑一致性和稳定性。
• 建议组合多个指标（如SC × SC/(SC+DC)），以融合多种度量指标的优良特性。
• 基于表现最出色的指标，推导出一个通用评估公式，以供未来研究评估中使用。

实验结果

研究问题

• RQ1 哪些基于引用的度量指标能以逻辑一致的方式最好地捕捉学术论文的颠覆性影响？
• RQ2 所提出的指标SC、DC和PC在引文索引与共引用等不同引用情境下的表现如何？
• RQ3 组合多个指标是否能比单一指标提供更稳健的研究创新评估？
• RQ4 九种提出的指标中，哪些在逻辑合理性与实证合理性上均表现良好？
• RQ5 如何整合多个基于引用的指标，形成一个统一评估框架的最优公式？

主要发现

• 四种指标——SC、SC-DC、SC/(SC+DC)和(SC-DC)/(SC+DC)——在不同引用情境下均表现出逻辑与实证上的合理性。
• 指标(SC-DC)/(SC+DC)展现出强烈的逻辑一致性，且对引用数量波动的敏感性较低。
• SC/(SC+DC)能有效捕捉相对于涉及合作者或共享参考文献的总引用中，独特且非冗余引用所占的比例。
• SC-DC与SC-DC-PC指标稳定性较差，实证表现较弱，表明其在颠覆性测量中的应用价值有限。
• 研究证实，通过组合指标（如SC与SC/(SC+DC)相乘）可获得更具信息量的评估结果。
• 整合表现最佳指标的一般性评估公式，为研究创新性评估提供了一种灵活且有原则的方法。