[论文解读] Quantifying Success in Science: An Overview

Xiaomei Bai, Hanxiao Pan+4 more|arXiv (Cornell University)|Aug 10, 2020

scientometrics and bibliometrics research参考文献 110被引用 4

一句话总结

本文对学术影响力评估进行了全面综述，将影响力指标分类并分析了论文、学者和期刊的影响力。识别出关键挑战，如合作影响力模式、隐性成功因素、动态网络建模和引用膨胀问题，并通过统一标准、异质网络和动态嵌入技术提出解决方案，以改进科学评估体系。

ABSTRACT

Quantifying success in science plays a key role in guiding funding allocations, recruitment decisions, and rewards. Recently, a significant amount of progresses have been made towards quantifying success in science. This lack of detailed analysis and summary continues a practical issue. The literature reports the factors influencing scholarly impact and evaluation methods and indices aimed at overcoming this crucial weakness. We focus on categorizing and reviewing the current development on evaluation indices of scholarly impact, including paper impact, scholar impact, and journal impact. Besides, we summarize the issues of existing evaluation methods and indices, investigate the open issues and challenges, and provide possible solutions, including the pattern of collaboration impact, unified evaluation standards, implicit success factor mining, dynamic academic network embedding, and scholarly impact inflation. This paper should help the researchers obtaining a broader understanding of quantifying success in science, and identifying some potential research directions.

研究动机与目标

• 系统性地对论文、学者和期刊的学术影响力评估指标进行分类和综述。
• 识别当前评估方法中的关键局限，包括对学术资历的偏倚和引用膨胀问题。
• 探讨新兴挑战，如合作影响力、隐性成功因素和动态学术网络。
• 提出统一评估标准、隐性因素挖掘和动态网络嵌入等解决方案，以实现更准确的影响力评估。
• 通过识别跨学科和动态学术语境下学术影响力量化中的开放性问题，为未来研究提供指导。

提出的方法

• 使用文献计量和科学计量方法，将学术影响力评估划分为三个领域：论文影响力、学者影响力和期刊影响力。
• 综述基于计数的方法（如引用次数、h指数、JIF）和基于网络的算法（如PageRank、HITS）在影响力量化中的应用。
• 提出动态学术网络嵌入方法，以建模随时间演变的学术关系，提升节点重要性的表征能力。
• 引入高阶学术网络的概念，以缓解引用膨胀问题，增强影响力指标的鲁棒性。
• 倡导建立统一的评估标准和真实基准数据集，以用于不同影响力评估方法的基准测试和比较。
• 采用异质学术网络，整合并量化合作者协作的影响，解决传统指标的局限性。

实验结果

研究问题

• RQ1 如何系统性地量化学术网络中的合作影响力，其随时间演变的模式是什么？
• RQ2 除学术资历和学科领域外，哪些隐性成功因素对学术影响力有贡献，如何从中挖掘？
• RQ3 如何有效建模动态学术网络，以反映不断变化的引用和合作者关系模式？
• RQ4 学术影响力膨胀在多大程度上扭曲了研究产出的跨时间比较？
• RQ5 需要何种统一标准和评估框架，才能公平比较不同的影响力评估方法？

主要发现

• 现有评估指标如h指数和JIF存在对学术资历的偏倚，并易受引用操纵的影响。
• 基于网络的方法如PageRank和HITS通过建模引用和合作者网络中的结构关系，提升了影响力评估的准确性。
• 由出版物数量指数级增长驱动的学术影响力膨胀，随时间推移削弱了基于引用指标的可靠性。
• 动态学术网络嵌入对于捕捉学术影响力的时间演变至关重要，但目前仍发展不足。
• 隐性成功因素（如导师指导和学习习惯）在学术成功中起着显著但尚未充分探索的作用。
• 统一的评估标准和高阶网络模型对于解决评估不一致问题、提升学术影响力评估的公平性至关重要。