[论文解读] S-index: Towards Better Metrics for Quantifying Research Impact

Neil J. Shah, Yang Song|arXiv (Cornell University)|Jul 13, 2015

scientometrics and bibliometrics research参考文献 27被引用 9

一句话总结

本文提出了 s-index，一种新颖的度量方法，通过在异构的论文-作者-会议网络中建模影响力传播，量化研究影响力。与传统的 h-index 和引用次数相比，该方法在识别具有影响力的研究成果和新兴人才方面表现更优，与专家排名具有强相关性，并在检测有影响力论文方面提升了召回率。

ABSTRACT

The ongoing growth in the volume of scientific literature available today precludes researchers from efficiently discerning the relevant from irrelevant content. Researchers are constantly interested in impactful papers, authors and venues in their respective fields. Moreover, they are interested in the so-called recent "rising stars" of these contexts which may lead to attractive directions for future work, collaborations or impactful publication venues. In this work, we address the problem of quantifying research impact in each of these contexts, in order to better direct attention of researchers and streamline the processes of comparison, ranking and evaluation of contribution. Specifically, we begin by outlining intuitive underlying assumptions that impact quantification methods should obey and evaluate when current state-of-the-art methods fail to satisfy these properties. To this end, we introduce the s-index metric which quantifies research impact through influence propagation over a heterogeneous citation network. s-index is tailored from these intuitive assumptions and offers a number of desirable qualities including robustness, natural temporality and straightforward extensibility from the paper impact to broader author and venue impact contexts. We evaluate its effectiveness on the publicly available Microsoft Academic Search citation graph with over 119 million papers and 1 billion citation edges with 103 million and 21 thousand associated authors and venues respectively.

研究动机与目标

• 为解决现有研究影响力度量方法（如引用次数、h-index 和期刊影响因子）的局限性，这些方法往往与人类对科学影响力直觉不一致。
• 定义一组理想属性（如鲁棒性、自然的时间性以及可扩展性），以确保一个合理的影响力度量方法应满足的条件。
• 开发一种新指标 s-index，通过在异构的论文-作者-会议引用图中传播影响力来量化影响力，同时捕捉研究贡献的数量与质量。
• 在大规模引用图（1.19亿篇论文，10亿条引用）上评估 s-index，并证明其在对有影响力的研究论文、作者和会议进行排序方面的有效性。
• 通过设计一种快速、线性时间的算法，确保可扩展性与实际部署可行性，该算法可集成于微软的 COSMOS 等生产系统中。

提出的方法

• s-index 通过在引用图上模拟长度最多为 m 的随机游走来计算论文影响力，每一步影响力按指数衰减，衰减因子 d=0.5。
• 影响力从论文传播至其直接和间接后继者，权重每一步减少 0.5 倍，以建模远距离引用对当前影响力贡献较小的观点。
• 通过聚合其关联的所有论文的 s-index 值，将该度量方法扩展至作者和会议，实现在三类实体上的一致影响力测量。
• 实现了一种快速、可扩展的算法，论文的计算时间复杂度为 O(m|Epp||P|)，作者和会议的复杂度类似，支持在大规模图上部署。
• 该算法在微软的 COSMOS 和 MS-SQL 系统中实现，在完整微软学术搜索图上运行时间小于一分钟。
• 参数选择基于经验分析：d=0.5 平衡影响力衰减，m=4 在最小化计算成本的同时实现与专家排名的近似最优相关性。

实验结果

研究问题

• RQ1 当前的影响力度量方法（如引用次数、h-index 和期刊影响因子）为何无法与科学影响力的人类直觉保持一致？
• RQ2 一个合理的研究影响力度量方法应具备哪些核心属性，以确保其在实践中可靠且可解释？
• RQ3 在异构引用网络中传播影响力，是否能产生比现有度量方法更稳健、更具时间自然性的研究影响力度量？
• RQ4 与基线度量方法相比，s-index 在多大程度上提升了对有影响力及新兴（崛起之星）论文、作者和会议的检测能力？
• RQ5 s-index 在大规模引用图上的计算可扩展性如何？是否可部署于真实世界生产系统？

主要发现

• 在仅进行 m=4 步随机游走的情况下，s-index 与专家排名的斯皮尔曼等级相关系数达到 ≥0.999，表明其与人类直觉高度一致。
• 在 10,000 篇论文的基准测试中，s-index 在识别有影响力成果方面的召回率比 h-index 提高了 11%，证明其在检测高影响力论文方面表现更优。
• s-index 成功将社交网络分析、应用数据挖掘和生物信息学等现代新兴主题识别为有影响力领域，同时降低了对当前不那么相关的经典基础性工作的排名。
• 在 s-index 与 s_r-index 排名中，顶级会议的排名基本保持不变，表明既有的声誉具有持续性，但 s_r-index 更好地捕捉了作者和论文影响力的新兴趋势。
• s-index 的计算与引用数量和游走长度呈线性关系，已在微软生产环境中部署，可在数分钟内处理完整的 1.19 亿篇论文图。
• 衰减因子 d=0.5 和游走长度 m=4 经验上为最优，平衡了影响力衰减与相关性，同时最小化了计算开销。