[论文解读] Overcoming Barriers to Computational Reproducibility

Roman Hornung, László Németh+14 more|arXiv (Cornell University)|Jan 27, 2026

Scientific Computing and Data Management被引用 1

一句话总结

该论文综合了计算可复现性的收益、障碍并提出务实的指南，以及一个面向跨学科的统一标准概念，供期刊促进可复现分析。

ABSTRACT

Computational reproducibility, the possibility for independent researchers to exactly reproduce published empirical results, is fundamental to science. Despite its importance, the proportion of research articles aiming for reproducibility remains low and uneven across disciplines. Barriers include a perceived lack of incentives for researchers and journals, practical challenges in preparing reproducible materials, and the absence of harmonised standards of reproducibility processes and requirements by journals. Existing guidance is often highly technical, reaching mainly those already engaged with reproducible research. In this paper, we first synthesize evidence on the benefits of reproducibility for both authors and journals. Drawing on our extensive experience in reproducibility checking at various journals, we then put forward concise, pragmatic guidelines for creating reproducible analyses across disciplines. We further review current reproducibility policies of selected journals, illustrating the substantial heterogeneity in requirements and procedures. Motivated by the latter, we propose conceptual foundations for a harmonised multi-tier system of reproducibility standards that could support transparent, consistent assessment across journals and research communities. Our goal as journal (reproducibility) editors and contributors to the MaRDI initiative is to encourage broader adoption of reproducibility practices, in particular by lowering practical barriers for authors and journals.

研究动机与目标

• 总结可复现性对作者和期刊的益处证据。
• 识别降低研究者和期刊采用可复现性的关键障碍。
• 提供跨学科创建可复现分析的简明、可操作指南。
• 回顾所选期刊当前的可复现性政策，以说明异质性。
• 提出统一多层次可复现性标准的概念基础。

提出的方法

• 综合现有文献与多家期刊可复现性检查的实际经验。
• 借鉴作者长期担任可复现性编辑的经验以完善指南。
• 提出简明、务实的指南，便于不同计算能力的读者理解。
• 分析当前期刊政策，突出在要求和程序上的异质性。
• 提出统一可复现性标准的概念基础，以支持跨期刊评估。

实验结果

研究问题

• RQ1 可复现研究对作者和期刊有哪些好处？
• RQ2 哪些实用指南可以降低广大读者在可复现性方面的障碍？
• RQ3 当前期刊的可复现性政策在学科和期刊之间有何差异？
• RQ4 什么概念框架可以支持统一的多层次可复现性标准？

主要发现

• 可复现性实践为研究人员提供了实用的工作流和未来工作的好处，包括更易的再使用和对结果的更高信心。
• 公开可用的代码和数据与更高的引用率和更大的方法学影响相关。
• 期刊通过可复现性政策受益，作为质量信号并改善投稿质量与透明度。
• 当前期刊的可复现性政策存在显著异质性，强调需要统一标准。
• 即使是轻量级的可复现性要求也能显著提升透明度和科学严格性。