[论文解读] Reproducibility as a Technical Specification

Tom Crick, Benjamin A. Hall+1 more|arXiv (Cornell University)|Apr 6, 2015

Scientific Computing and Data Management参考文献 53被引用 3

一句话总结

本文提出了一种可复现性服务的形式化技术规范，通过标准化的网络基础设施和工作流，实现计算研究成果的自动化验证与验证。通过将成果评估整合到出版流程中——采用分级评审制度和社区维护的代码库——该规范在计算科学领域建立了可度量、可执行的可复现性标准，并以BioModelAnalyzer工具为例进行了案例研究。

ABSTRACT

Reproducibility of computationally-derived scientific discoveries should be a certainty. As the product of several person-years' worth of effort, results -- whether disseminated through academic journals, conferences or exploited through commercial ventures -- should at some level be expected to be repeatable by other researchers. While this stance may appear to be obvious and trivial, a variety of factors often stand in the way of making it commonplace. Whilst there has been detailed cross-disciplinary discussions of the various social, cultural and ideological drivers and (potential) solutions, one factor which has had less focus is the concept of reproducibility as a technical challenge. Specifically, that the definition of an unambiguous and measurable standard of reproducibility would offer a significant benefit to the wider computational science community. In this paper, we propose a high-level technical specification for a service for reproducibility, presenting cyberinfrastructure and associated workflow for a service which would enable such a specification to be verified and validated. In addition to addressing a pressing need for the scientific community, we further speculate on the potential contribution to the wider software development community of services which automate de novo compilation and testing of code from source. We illustrate our proposed specification and workflow by using the BioModelAnalyzer tool as a running example.

研究动机与目标

• 为解决计算科学中长期存在的可复现性危机，将可复现性视为技术规范而非文化或社会问题。
• 设计一种标准化、可度量且可验证的科研软件成果评估服务，支持从源代码自动编译和测试。
• 将成果评估整合到学术出版工作流中，初期为可选，随后逐步演变为强制要求。
• 通过最小化基础设施和许可开销，降低早期职业研究人员和资源有限群体的参与门槛。
• 建立一个由社区维护的已评估成果库，以推广可复现研究的最佳实践和典范案例。

提出的方法

• 设计一种高层次的技术规范，支持对源代码进行自动化重新编译和测试的可复现性服务。
• 定义一个包含标准化工具链和工作流的网络基础设施堆栈，以在多样化的计算环境中验证成果。
• 实施分级成果评估流程，采用交通灯系统（如：通过、警告、失败）对可复现性水平进行评级。
• 引入分阶段采纳模型：第t年为可选，第t+1年为强制但不影响评审，第t+2年为强制且影响评审。
• 以BioModelAnalyzer工具作为持续示例，展示规范和工作流在实际中的应用。
• 建立由社区驱动的成果维护机制，维护一个可搜索、不断增长的已评估成果数据库，用于基准测试和对比。

实验结果

研究问题

• RQ1 如何将计算科学中的可复现性形式化为一种可度量的技术规范，而非一种文化理想？
• RQ2 需要哪些网络基础设施和工作流组件，才能实现对科研软件成果的自动化、可重复验证？
• RQ3 如何在不给研究人员增加过重负担的前提下，将成果评估整合到学术出版流程中？
• RQ4 何种分阶段采纳策略能够实现社区的广泛采纳，同时最小化对现有流程的干扰？
• RQ5 如何通过标准化、由社区维护的已评估成果库，促进最佳实践并提升研究质量？

主要发现

• 所提出的技術規範可透過標準化之編譯與測試工作流程，實現計算研究成果之自動化、重複性驗證。
• 分階段採用模式——初期可選，接著強制但不影響審稿，最後強制且影響審稿——可促進文化轉變，且干擾最小。
• 成果評估的交通燈系統提供了一種清晰、直觀且可擴展的方法，向審稿人與讀者傳達可復現性水平。
• 由社區維護的已評估成果庫，形成了一個持續增長、可重用的知識庫，支援基準測試、對比分析與最佳實踐分享。
• 該框架透過確保所有投稿均採用一致、透明且統一的評估標準，降低了「武器化」可復現性的風險。
• 以BioModelAnalyzer進行的案例研究，證明了該規範在實際科學軟件中應用的可行性與實用性。