[论文解读] The Leiden Ranking 2011/2012: Data collection, indicators, and interpretation

Ludo Waltman, Clara Calero‐Medina+8 more|arXiv (Cornell University)|Feb 17, 2012

Education, Management, Technology, Human Resources被引用 5

一句话总结

本文介绍了2011/2012年莱顿排名，这是一项针对全球41个国家500所高校的文献计量学大学排名，采用改进的指标，如合作出版物的分数计数法、高被引论文数量、排除非英文出版物以及稳定性区间。该研究引入了方法论上的创新，以提升科研绩效评估的公平性与可解释性，为上海排名和泰晤士高等教育世界大学排名等主要排名提供了一种透明的替代方案。

ABSTRACT

The Leiden Ranking 2011/2012 is a ranking of universities based on bibliometric indicators of publication output, citation impact, and scientific collaboration. The ranking includes 500 major universities from 41 different countries. This paper provides an extensive discussion of the Leiden Ranking 2011/2012. The ranking is compared with other global university rankings, in particular the Academic Ranking of World Universities (commonly known as the Shanghai Ranking) and the Times Higher Education World University Rankings. Also, a detailed description is offered of the data collection methodology of the Leiden Ranking 2011/2012 and of the indicators used in the ranking. Various innovations in the Leiden Ranking 2011/2012 are presented. These innovations include (1) an indicator based on counting a university's highly cited publications, (2) indicators based on fractional rather than full counting of collaborative publications, (3) the possibility of excluding non-English language publications, and (4) the use of stability intervals. Finally, some comments are made on the interpretation of the ranking, and a number of limitations of the ranking are pointed out.

研究动机与目标

• 基于出版物产出、引用影响力和合作情况，开发一种透明且方法论稳健的全球大学文献计量排名。
• 通过引入新型指标，解决现有大学排名的局限性，提升绩效评估的公平性与准确性。
• 提供一种数据驱动、可复现的框架，用于跨机构和国家评估科研绩效。
• 通过稳定性区间和语言过滤，使研究人员和机构能够更自信地解读文献计量指标。
• 将莱顿排名与上海排名和泰晤士高等教育世界大学排名进行比较，突出其方法论差异。

提出的方法

• 从Web of Science数据库收集2008至2010年间500所主要大学的出版物数据。
• 应用分数计数法，将合作出版物的贡献在参与机构间分配，减少大型国际合作带来的偏差。
• 引入一项新指标，衡量每所机构的高被引论文数量，定义为在所属领域和出版年份中位列前10%的论文。
• 引入稳定性区间以评估引用影响力指标的可靠性，反映因引用数据有限而产生的不确定性。
• 可选择排除非英文出版物，以减少语言相关引用习惯带来的偏差。
• 使用领域标准化的引用影响力得分，实现不同科学学科间机构的可比性。

实验结果

研究问题

• RQ1 如何改进文献计量指标，以确保高校间科研绩效比较更加公平？
• RQ2 分数计数法和排除非英文出版物在多大程度上影响了高校排名？
• RQ3 稳定性区间在多大程度上提升了大学排名中引用影响力指标的可解释性？
• RQ4 莱顿排名在方法论和结果方面与上海排名和泰晤士高等教育世界大学排名有何异同？
• RQ5 2011/2012年莱顿排名相较于以往文献计量排名，其关键方法论创新是什么？

主要发现

• 2011/2012年莱顿排名涵盖来自41个国家的500所大学，为全球科研绩效提供了全面的概览。
• 分数计数法显著降低了拥有大型国际合作的机构的优势，实现了更公平的比较。
• 引入高被引论文数量，提供了一种超越平均引用影响力的科研卓越性更细致的衡量方式。
• 稳定性区间揭示，小型机构的引用影响力指标可靠性较低，凸显了不确定性评估的重要性。
• 排除非英文出版物导致排名出现可测量的变化，尤其影响非英语国家的高校。
• 该排名表明，计数方法和语言过滤等方法论选择对机构排名位置有显著影响，强调了透明度的必要性。