[论文解读] Peer-review in the Internet age

Paweł Sobkowicz|ArXiv.org|Oct 2, 2008

Complex Network Analysis Techniques参考文献 11被引用 5

一句话总结

本文提出利用基于互联网的网络分析与自动引文建模——具体而言是随机引文科学家框架——来提升同行评审，帮助审稿人更高效地识别相关且具有竞争力的文献。通过利用引文网络的特性来推荐关键参考文献，该方法减轻了审稿人的工作负担，并在科学文献呈指数级增长的背景下提升了评审质量。

ABSTRACT

The importance of peer-review in the scientific process can not be overestimated. Yet, due to increasing pressures of research and exponentially growing number of publications the task faced by the referees becomes ever more difficult. We discuss here a few possible improvements that would enable more efficient review of the scientific literature, using the growing Internet connectivity. In particular, a practical automated model for providing the referees with references to papers that might have strong relationship with the work under review, based on general network properties of citations is proposed.

研究动机与目标

• 应对由于科学出版物数量呈指数级增长而带来的彻底同行评审日益困难的问题。
• 通过自动化发现与手稿相关的相关且具有竞争力的文献，减轻审稿人的负担。
• 通过为审稿人提供对基础性与对比性文献更好的访问，提升同行评审的质量与一致性。
• 通过在期刊间复用同行评审评价，减少重复投稿与循环拒稿。
• 通过倡导非匿名评审与公开共享评审历史，增强同行评审的透明度与问责性。

提出的方法

• 将随机引文科学家模型（Simkin & Roychowdhury, 2005）进行适配，通过以概率 p 随机选择并复制参考文献来模拟引文行为。
• 利用引文图的网络特性，识别与待审手稿在结构上具有强相似性的论文。
• 通过分析科学文献网络中的引文关联与邻近性，自动化建议相关参考文献。
• 提出在同一家出版商旗下的期刊之间共享同行评审评价，以避免重复评审。
• 倡导使用数字平台公开、链接发布同行评审意见与作者回复，类似于 Faculty of 1000 的做法。
• 整合非匿名评审机制，在保持专家坦诚的同时提升审稿人的问责性。

实验结果

研究问题

• RQ1 自动化引文网络分析在多大程度上能提升识别同行评审相关文献的效率与准确性？
• RQ2 在不同期刊之间共享评审池在多大程度上能减少投稿周期与审稿人负担？
• RQ3 公开的、非匿名的同行评审会对评审过程的质量与完整性产生何种影响？
• RQ4 现有互联网技术能否被用于简化并标准化科学出版中的同行评审工作流程？
• RQ5 自动化参考文献推荐工具在多大程度上能缓解因审稿人或作者疏忽而遗漏关键参考文献的风险？

主要发现

• 随机引文科学家模型在仅需极少关于内容或质量的假设下，成功再现了真实引文网络的统计特性，包括重尾引文分布。
• 许多作者与审稿人可能在未阅读原文的情况下引用论文，这从引文错误链中可见一斑，表明自动化参考文献发现既必要也切实可行。
• 基于引文网络结构的自动化工具可显著减少审稿人为寻找关键对比文献所需的时间与精力。
• 在同一家出版商旗下的期刊之间共享同行评审可减少重复评审周期，并提升反馈的一致性。
• 公开分享同行评审意见与作者回复——尤其是非匿名形式——可增强透明度、问责性，并整体提升科学论述的质量。
• 整合类似 Faculty of 1000 所使用的数字工具表明，专家筛选、实时评估科学文献既实际可行，也可扩展。