[论文解读] Novel processes and metrics for a scientific evaluation rooted in the principles of science - Version 1

Michaël Bon, Michael T. Taylor+1 more|arXiv (Cornell University)|Jan 27, 2017

Scientific Computing and Data Management参考文献 1被引用 4

一句话总结

本文提出一种自下而上、对称的科学评估体系，以基于开放、横向同行评审和自期刊的文章级指标取代期刊影响因子。该体系使科学家能够集体评估和整理研究，通过可量化、透明的指标促进可重复性、开放性和质量，赋能初级研究人员并去中心化科学权威。

ABSTRACT

Scientific evaluation is a determinant of how scientists, institutions and funders behave, and as such is a key element in the making of science. In this article, we propose an alternative to the current norm of evaluating research with journal rank. Following a well-defined notion of scientific value, we introduce qualitative processes that can also be quantified and give rise to meaningful and easy-to-use article-level metrics. In our approach, the goal of a scientist is transformed from convincing an editorial board through a vertical process to convincing peers through an horizontal one. We argue that such an evaluation system naturally provides the incentives and logic needed to constantly promote quality, reproducibility, openness and collaboration in science. The system is legally and technically feasible and can gradually lead to the self-organized reappropriation of the scientific process by the scholarly community and its institutions. We propose an implementation of our evaluation system with the platform "the Self-Journals of Science" (www.sjscience.org).

研究动机与目标

• 解决当前科学评估中固有的不对称性，即编辑委员会在文章可见度和职业发展方面拥有不成比例的权力。
• 以基于科学有效性与重要性原则的对称、社区驱动的评估体系取代基于期刊声誉的评价方式。
• 设计实用、可量化的指标，激励科学研究质量、可重复性、开放性和协作性。
• 通过恢复科学家（尤其是初级研究人员）对科学验证和认可的控制权，赋能科学家群体。
• 使机构和资助方能够采用反映真实科学价值的指标，超越引文次数或期刊排名。

提出的方法

• 引入‘自期刊’作为个人开放平台，科学家可在其中整理和评估自身及他人的研究成果，支持横向同行评审。
• 实施开放、公开且可问责的同行评审流程，确保透明性、时间灵活性和社区治理。
• 基于独立验证次数（如‘验证’或‘支持’）和同行评论质量，开发文章级指标。
• 将有效性评估（通过同行评审）与重要性评估（通过自期刊的可见性和整理）分离，实现科学价值的更清晰区分。
• 以SJS（科学自期刊）平台作为技术与组织实现该体系的载体。
• 设计类似于h指数的指标，但基于社区验证、开放且累积的科学贡献评估。

实验结果

研究问题

• RQ1 如何重构科学评估体系，以消除编辑把关人与更广泛的科学共同体之间的不对称性？
• RQ2 哪些指标能够客观衡量科学价值，通过将有效性与重要性解耦，支持可重复性和开放性？
• RQ3 去中心化、社区治理的文章级评估体系是否能在不扰乱学术生涯的前提下取代期刊影响因子？
• RQ4 此类体系如何激励高质量、协作性与透明的研究实践？
• RQ5 自期刊与开放同行评审在何种方式下可构建可持续、自我组织的科学评估生态系统？

主要发现

• 所提出的体系将现有‘同行审判’模式（以保密性、时间压力和把关为特征）替换为开放、横向的同行评审流程，支持科学自我纠错与透明性。
• 基于独立验证与同行评论的文章级指标可被量化，并可作为期刊影响因子的可靠、透明且公平的替代方案。
• 由于评估过程公开、累积且分布于整个社区，而非集中于编辑委员会，该体系减少了操纵与偏见。
• 自期刊为科学家（尤其是初级研究人员）提供了无风险、高回报的方式，通过整理与同行评审建立声誉与影响力。
• 该模型使评估委员会能够获取集体化、情境化的科学工作判断，减少评审时间并提升智力严谨性。
• SJS平台展示了技术与组织上的可行性，提供了一种可扩展、开源的社区驱动科学评估模型。