[论文解读] The Operationalization of "Fields" as WoS Subject Categories (WCs) in Evaluative Bibliometrics: The cases of "Library and Information Science" and "Science & Technology Studies"

Loet Leydesdorff, Lutz Bornmann|arXiv (Cornell University)|Jul 29, 2014

scientometrics and bibliometrics research参考文献 47被引用 12

一句话总结

本文批判了在评估性研究中将Web of Science学科类别（WCs）用作文献计量标准化参考集的做法，表明分类员效应和分类不一致削弱了图书馆与信息科学及科学与技术研究等领域的可靠性。文章主张通过改进分类方法（如算法聚类或专业索引术语）将‘最佳实践’升级为‘最佳可能实践’，以提升评估的准确性和有效性。

ABSTRACT

Normalization of citation scores using reference sets based on Web-of-Science Subject Categories (WCs) has become an established ("best") practice in evaluative bibliometrics. For example, the Times Higher Education World University Rankings are, among other things, based on this operationalization. However, WCs were developed decades ago for the purpose of information retrieval and evolved incrementally with the database; the classification is machine-based and partially manually corrected. Using the WC "information science & library science" and the WCs attributed to journals in the field of "science and technology studies," we show that WCs do not provide sufficient analytical clarity to carry bibliometric normalization in evaluation practices because of "indexer effects." Can the compliance with "best practices" be replaced with an ambition to develop "best possible practices"? New research questions can then be envisaged.

研究动机与目标

• 考察Web of Science学科类别（WCs）作为评估性研究中文献计量标准化参考集的可靠性。
• 识别基于WC的标准化中的系统性缺陷，特别是由于分类员效应和分类不一致所致。
• 挑战‘WC提供稳定、学科特定的比较基础’这一假设，用于跨机构或个人的引文影响力比较。
• 倡导采用更稳健的替代方法——如算法聚类或专业索引术语——来定义文献计量评估中的参考集。
• 推动从既定的‘最佳实践’向更具研究依据、更严格的‘最佳可能实践’在评估性文献计量中的转变。

提出的方法

• 分析Web of Science数据库中WCs的操作化过程，重点关注其作为检索工具的历史发展，而非评估标准。
• 比较‘图书馆与信息科学’和‘科学与技术研究’（STS）领域期刊的分类，以评估参考集的一致性和连贯性。
• 评估多个重叠或模糊的WCs对标准化结果的影响，特别是在跨学科领域。
• 回顾现有标准化方法，包括CPP/Fcsm和MNCS，并指出其对基于WC的期刊分类的依赖所导致的局限性。
• 提出替代的参考集生成方法，如基于引文关系的算法聚类（如莱顿排名所用方法）和专业索引术语（如MeSH、化学文摘）。
• 讨论每种方法的权衡，包括可重复性、验证性以及基于引文的标准化中的‘双重引文窗口’问题。

实验结果

研究问题

• RQ1 Web of Science学科类别（WCs）在多大程度上为评估性研究中的文献计量标准化提供了稳定且分析上连贯的基础？
• RQ2 分类员效应以及WC内期刊分类的不一致性在多大程度上损害了图书馆与信息科学及科学与技术研究等领域的引文标准化有效性？
• RQ3 为何目前对WC的依赖——这些类别最初是为信息检索而设计的——对现代评估性文献计量构成问题？
• RQ4 基于算法生成的学科领域（如莱顿排名中所用）在可解释性、验证性和可重复性方面存在哪些局限性？
• RQ5 替代的参考集定义方法——如专业索引术语或基于引文的聚类——是否能提供比基于WC的方法更可靠、更具说服力的标准化？

主要发现

• Web of Science学科类别（WCs）并非为评估性文献计量而设计，且存在显著的分类员效应，削弱了其作为标准化参考集的可靠性。
• ‘图书馆与信息科学’领域被不一致地归类于单一WC‘信息科学与图书馆科学’，可能无法准确反映学科边界或引文模式。
• 科学与技术研究（STS）未被分配专属的WC，导致其分散于多个类别，可能在标准化过程中被错误分类。
• 期刊使用多个重叠的WCs引入了模糊性，降低了参考集的分析清晰度，尤其在跨学科研究领域更为明显。
• 算法聚类方法（如莱顿排名所用）提供了更具动态性、基于引文的替代方案，但在验证性、命名和可重复性方面仍面临挑战。
• 本文结论认为，基于WC的当前‘最佳实践’在文献计量标准化中已显不足，必须向基于更优分类系统的‘最佳可能实践’转变，这一转变既必要也切实可行。