[论文解读] Open data to evaluate academic researchers: an experiment with the Italian Scientific Habilitation

Angelo Di Iorio, Silvio Peroni+1 more|arXiv (Cornell University)|Feb 8, 2019

scientometrics and bibliometrics researchDecision Sciences被引用 17

一句话总结

本文通过模拟意大利国家教授资格评定流程（科学资格认证，Scientific Habilitation），评估了用开放数据替代商业引文数据库在学术评价中的可行性。仅使用开放引文数据，研究发现当前开放引文数据的覆盖范围仍不足以复现官方结果，凸显尽管已有如I4OC等倡议，开放学术基础设施仍存在关键缺口。

ABSTRACT

The need for scholarly open data is ever increasing. While there are large repositories of open access articles and free publication indexes, there are still a few examples of free citation networks and their coverage is partial. One of the results is that most of the evaluation processes based on citation counts rely on commercial citation databases. Things are changing under the pressure of the Initiative for Open Citations (I4OC), whose goal is to campaign for scholarly publishers to make their citations as totally open. This paper investigates the growth of open citations with an experiment on the Italian Scientific Habilitation, the National process for University Professor qualification which instead uses data from commercial indexes. We simulated the procedure by only using open data and explored similarities and differences with the official results. The outcomes of the experiment show that the amount of open citation data currently available is not yet enough for obtaining similar results.

研究动机与目标

• 评估开放引文数据是否能在国家级学术评价过程中可靠替代商业引文数据库。
• 研究在高风险学术评价（如教授资格评定）中使用开放数据的可行性。
• 将基于开放数据的模拟结果与基于商业索引的官方评价结果进行比较。
• 识别当前开放引文数据覆盖的缺口及其对评价结果的影响。
• 通过在真实世界评价场景中实证测试开放数据，支持更广泛的开放学术基础设施建设。

提出的方法

• 作者仅使用来自Crossref和OpenCitations等来源的开放引文数据，模拟了意大利科学资格认证流程。
• 他们从开放存储库和引文网络中收集了候选人的出版物和引文数据。
• 模拟复现了官方评价流程，包括引文数量聚合与归一化处理。
• 将开放数据模拟的结果与国家科学资格认证流程的官方结果进行对比。
• 研究使用了标准文献计量指标（如引文数量和h指数），所有指标均仅基于开放数据计算。
• 分析了开放引文数据的覆盖范围与完整性，以评估其对评价结果的影响。

实验结果

研究问题

• RQ1 开放引文数据是否能在国家级学术评价中产生与商业引文数据库相当的结果？
• RQ2 开放引文数据在高风险学术评价中的当前完整度与覆盖范围如何？
• RQ3 不同引文数据源的差异如何影响学术候选人的排名与资格评定？
• RQ4 开放引文数据缺乏全面覆盖在多大程度上阻碍了开放评价系统的采纳？
• RQ5 依赖开放数据进行国家级学术资格评定过程具有哪些实际影响？

主要发现

• 仅使用开放引文数据的模拟未能复现意大利科学资格认证流程的官方结果。
• 当前开放引文数据的覆盖范围不足以确保大规模学术评价中结果的可靠性或可比性。
• 在可用性与完整性方面存在显著缺口，尤其体现在较早出版物和某些学科领域。
• 研究证实，尽管如I4OC等开放引文倡议正在推进，但尚未达到足以替代商业数据库的关键规模。
• 官方评价与基于开放数据的评价之间存在差异，凸显了改善开放引文基础设施的迫切需求。
• 结果强调了学术评价对商业数据的依赖性，以及依赖不完整开放替代方案所面临的风险。