[论文解读] Which cities produce worldwide more excellent papers than can be expected? A new mapping approach--using Google Maps--based on statistical significance testing

Lutz Bornmann, Loet Leydesdorff|arXiv (Cornell University)|Mar 16, 2011

Data-Driven Disease Surveillance参考文献 10被引用 2

一句话总结

本文提出了一种统计严谨、开源的方法，利用 Google 地图和 Web of Science 数据，识别出其高被引论文产出显著高于随机预期的城市。通过应用统计显著性检验，比较实际产出与预期产出，该方法揭示了‘真正瑰宝’——即在物理学、化学和心理学等领域的研究卓越程度远超单纯发文量的城市。

ABSTRACT

The methods presented in this paper allow for a statistical analysis revealing centers of excellence around the world using programs that are freely available. Based on Web of Science data, field-specific excellence can be identified in cities where highly-cited papers were published significantly. Compared to the mapping approaches published hitherto, our approach is more analytically oriented by allowing the assessment of an observed number of excellent papers for a city (in the sample) against the expected number. Using this test, the approach cannot only identify the top performers in output but the true jewels. These are cities locating authors who publish significantly more top cited papers than can be expected. As the examples in this paper show for physics, chemistry, and psychology, these cities do not necessarily have a high output of excellent papers.

研究动机与目标

• 开发一种方法，识别出其研究产出在统计上显著优于随机预期的城市。
• 解决传统制图方法的局限性，即优先关注高产出城市，而未评估统计显著性。
• 使研究人员和机构能够区分高产出城市与真正表现卓越的研究绩效城市。
• 提供一种免费获取、分析稳健的工具，使用广泛可用的软件和数据（Web of Science）。

提出的方法

• 该方法使用 Web of Science 数据，提取与城市关联的作者在特定领域内发表的高被引论文。
• 基于此类论文在全球城市间的分布，计算每个城市应有的优秀论文数量。
• 采用统计显著性检验（如泊松检验或二项检验），将城市中实际观察到的优秀论文数量与预期数量进行比较。
• 将实际数量显著高于预期数量的城市分类为卓越中心。
• 通过 Google 地图可视化结果，以空间方式呈现具有统计显著性的卓越中心。
• 按不同学术领域（如物理学、化学、心理学）分别应用该方法，以确保领域相关性。

实验结果

研究问题

• RQ1 在特定学术领域中，哪些城市产出的高被引论文数量显著高于随机预期？
• RQ2 与简单产出排名相比，统计显著性检验在识别真正研究卓越方面有何改进？
• RQ3 高研究产出的城市在发表质量方面在多大程度上也表现出统计显著的卓越性？
• RQ4 是否存在‘真正瑰宝’城市——即尽管产出总量不高，但其高被引论文产出率显著高于预期？
• RQ5 与传统制图技术相比，该方法在识别研究卓越中心方面表现如何？

主要发现

• 该方法成功识别出即使绝对产出并非最高的城市，在研究产出方面也具有统计显著的卓越性。
• 在物理学、化学和心理学领域，多个城市被识别为‘真正瑰宝’——其高被引论文产出显著高于预期。
• 一些研究表现强劲的城市在总产出排名中并非前列，但表现出高统计显著性，表明其研究质量极为出色。
• 该方法揭示，高产出并不必然意味着统计卓越，强调了在评估中使用显著性检验的重要性。
• 使用免费工具（Google 地图、Web of Science）使分析具有广泛可及性和可重复性。
• 与以往仅可视化或基于产出的方法相比，该方法为绘制全球研究卓越地图提供了更细致且分析上更具说服力的途径。