[论文解读] The counting house: measuring those who count. Presence of Bibliometrics, Scientometrics, Informetrics, Webometrics and Altmetrics in the Google Scholar Citations, ResearcherID, ResearchGate, Mendeley & Twitter

Alberto Martín‐Martín, Enrique Orduña‐Malea+2 more|arXiv (Cornell University)|Feb 7, 2016

Web visibility and informetrics被引用 11

一句话总结

本研究通过分析814名文献计量学研究人员，评估了五个平台——Google Scholar Citations、ResearcherID、ResearchGate、Mendeley和Twitter——在学术指标上的一致性和可靠性。采用Spearman等级相关与主成分分析（PCA），研究揭示了引用次数和资料完整性方面存在显著差异，凸显了各平台特有的偏差，并强调在研究评估中应谨慎解读替代指标（altmetrics）与文献计量指标。

ABSTRACT

Following in the footsteps of the model of scientific communication, which has recently gone through a metamorphosis (from the Gutenberg galaxy to the Web galaxy), a change in the model and methods of scientific evaluation is also taking place. A set of new scientific tools are now providing a variety of indicators which measure all actions and interactions among scientists in the digital space, making new aspects of scientific communication emerge. In this work we present a method for capturing the structure of an entire scientific community (the Bibliometrics, Scientometrics, Informetrics, Webometrics, and Altmetrics community) and the main agents that are part of it (scientists, documents, and sources) through the lens of Google Scholar Citations. Additionally, we compare these author portraits to the ones offered by other profile or social platforms currently used by academics (ResearcherID, ResearchGate, Mendeley, and Twitter), in order to test their degree of use, completeness, reliability, and the validity of the information they provide. A sample of 814 authors (researchers in Bibliometrics with a public profile created in Google Scholar Citations was subsequently searched in the other platforms, collecting the main indicators computed by each of them. The data collection was carried out on September, 2015. The Spearman correlation was applied to these indicators (a total of 31) , and a Principal Component Analysis was carried out in order to reveal the relationships among metrics and platforms as well as the possible existence of metric clusters

研究动机与目标

• 评估学术档案平台在衡量文献计量研究人员时的使用程度、完整性、可靠性和有效性。
• 比较Google Scholar Citations、ResearcherID、ResearchGate、Mendeley和Twitter在引用指标与替代指标（altmetric）方面的表现。
• 利用文献计量与替代指标数据，评估数字平台中科学社群的结构一致性。
• 识别研究者档案数据中的指标聚类与平台特异性偏差。
• 为多平台研究评估指标的解读提供基于证据的建议。

提出的方法

• 从814名在Google Scholar Citations上拥有公开档案的研究者中收集数据，并与ResearcherID、ResearchGate、Mendeley和Twitter进行交叉核对。
• 从各平台提取31项关键指标（如引用次数、文献数量、关注者数）以进行对比分析。
• 应用Spearman等级相关分析，评估各平台间对应指标之间关系的强度与方向。
• 进行主成分分析（PCA），以识别各平台间潜在的模式与指标分组。
• 采用横断面数据收集方法，于2015年9月进行，以确保时间上的一致性。
• 通过数字足迹分析，分析文献计量学、科学计量学、信息计量学、网络计量学及替代指标研究社群的结构。

实验结果

研究问题

• RQ1 Google Scholar Citations、ResearcherID、ResearchGate、Mendeley和Twitter之间的引用指标与替代指标在多大程度上保持一致？
• RQ2 学术档案平台在档案完整性与数据可靠性方面存在多大程度的差异？
• RQ3 在跨平台指标比较中，哪些指标聚类浮现？它们揭示了平台特异性偏差的哪些信息？
• RQ4 次级平台（如ResearchGate、Mendeley）在多大程度上能准确反映由Google Scholar Citations测得的实际学术影响力？
• RQ5 平台间的差异对替代指标与文献计量指标在研究评估中的应用有何影响？

主要发现

• Google Scholar Citations与其他平台之间引用次数的Spearman相关性普遍偏低至中等，表明引用测量的一致性较弱。
• ResearchGate和Mendeley上的研究者档案在完整性和可见性方面表现较高，但其引用次数常高于Google Scholar Citations，存在高估现象。
• Twitter存在情况与其它指标相关性微弱，表明社交媒体互动与学术影响力指标之间对齐程度有限。
• 主成分分析揭示了明显的指标聚类，其中Google Scholar Citations与社交及档案平台形成独立聚类，表明其测量范式存在显著差异。
• 在文献数量与引用次数方面观察到显著差异，尤其在Google Scholar Citations与ResearcherID之间，凸显了数据可靠性问题。
• 档案完整性差异显著：Google Scholar Citations的数据最为一致且全面，而ResearchGate和Mendeley常包含非代表性或被夸大的指标。