[论文解读] Ranking and mapping of universities and research-focused institutions worldwide based on highly-cited papers: A visualization of results from multi-level models

Lutz Bornmann, Moritz Stefaner+2 more|arXiv (Cornell University)|Dec 3, 2012

scientometrics and bibliometrics research参考文献 40被引用 4

一句话总结

本文提出了一款基于网络的工具，利用多层次模型分析来自 Scopus 数据的高被引论文，对全球大学和研究机构进行排名与制图。通过应用分层建模来估算机构特定的引用影响力并提供置信区间，该工具能够实现跨学科和跨地理区域的研究卓越性进行统计上稳健的比较，为识别卓越中心提供了比原始引用次数更准确的替代方案。

ABSTRACT

The web application presented in this paper allows for an analysis to reveal centres of excellence in different fields worldwide using publication and citation data. Only specific aspects of institutional performance are taken into account and other aspects such as teaching performance or societal impact of research are not considered. Based on data gathered from Scopus, field-specific excellence can be identified in institutions where highly-cited papers have been frequently published. The web application combines both a list of institutions ordered by different indicator values and a map with circles visualizing indicator values for geocoded institutions. Compared to the mapping and ranking approaches introduced hitherto, our underlying statistics (multi-level models) are analytically oriented by allowing (1) the estimation of values for the number of excellent papers for an institution which are statistically more appropriate than the observed values; (2) the calculation of confidence intervals as measures of accuracy for the institutional citation impact; (3) the comparison of a single institution with an "average" institution in a subject area, and (4) the direct comparison of at least two institutions.

研究动机与目标

• 开发一种基于高被引论文的统计严谨方法，以评估机构的研究卓越性。
• 通过引入统计建模来减少噪声并提高可靠性，以解决原始引用次数的局限性。
• 通过标准化指标，实现在特定学术领域内对机构进行直接比较。
• 通过交互式地图和按领域划分的排名列表，可视化全球研究表现。
• 为机构的引用影响力提供置信区间，以增强排名的透明度和可解释性。

提出的方法

• 应用多层次（分层）模型来估算每所机构的高被引论文数量，同时调整学科和出版年份的影响。
• 使用来自 Scopus 的领域标准化引用数据，识别在其学科领域和出版年份中处于前 10% 引用水平的论文。
• 使用经验贝叶斯收缩法估算机构特定的引用影响力，以减少小型机构因极端值带来的影响。
• 为每所机构的估计引用影响力计算 95% 置信区间，以评估精确度。
• 整合地理编码数据，创建以圆形表示机构表现水平的交互式地图。
• 开发一个网络应用程序，使用户能够直接比较机构，并按领域和指标查看排名。

实验结果

研究问题

• RQ1 如何比原始引用次数更准确地衡量机构的研究表现？
• RQ2 多层次模型在多大程度上提高了基于引用的大学和研究机构排名的可靠性？
• RQ3 引用影响力的置信区间能否增强机构表现指标的可解释性？
• RQ4 在不同全球区域和学科之间，机构在领域标准化引用影响力方面如何比较？
• RQ5 使用引用数据大规模可视化和排名研究卓越性的最有效方法是什么？

主要发现

• 多层次模型显著降低了引用次数中随机变异的影响，特别是对出版量有限的小型机构而言。
• 机构的高被引论文估计数量比观察到的原始数量更稳定、更可靠，尤其是在样本量较小时。
• 置信区间提供了对不确定性的清晰度量，使用户能够评估机构表现排名的可靠性。
• 在多个学科中，高引用影响力的机构被一致识别，揭示了全球卓越中心的显著分布。
• 交互式网络应用程序支持至少两个机构的直接比较，有助于基于证据的机构基准评估。
• 通过地理编码地图有效可视化了按领域划分的卓越表现，突出了高性能机构的区域集群。