[论文解读] Ten Simple Rules for Reproducible Research in Jupyter Notebooks

Adam Rule, Amanda Birmingham+9 more|arXiv (Cornell University)|Oct 13, 2018

Scientific Computing and Data Management参考文献 8被引用 20

一句话总结

本文提出了十项可操作的规则，用于通过 Jupyter Notebook 实现可复现的研究，强调结构化工作流程、版本控制、文档记录以及开放科学实践。通过整合代码组织、溯源追踪和协作开发的最佳实践，作者展示了如何使笔记本成为计算科学中可靠、可重用且透明的工具。

ABSTRACT

Reproducibility of computational studies is a hallmark of scientific methodology. It enables researchers to build with confidence on the methods and findings of others, reuse and extend computational pipelines, and thereby drive scientific progress. Since many experimental studies rely on computational analyses, biologists need guidance on how to set up and document reproducible data analyses or simulations. In this paper, we address several questions about reproducibility. For example, what are the technical and non-technical barriers to reproducible computational studies? What opportunities and challenges do computational notebooks offer to overcome some of these barriers? What tools are available and how can they be used effectively? We have developed a set of rules to serve as a guide to scientists with a specific focus on computational notebook systems, such as Jupyter Notebooks, which have become a tool of choice for many applications. Notebooks combine detailed workflows with narrative text and visualization of results. Combined with software repositories and open source licensing, notebooks are powerful tools for transparent, collaborative, reproducible, and reusable data analyses.

研究动机与目标

• 为应对计算研究中日益增长的可复现性需求，特别是在生物学和数据科学领域。
• 识别阻碍数据分析工作流可复现性的技术和非技术障碍。
• 探讨 Jupyter Notebook 如何通过改进文档记录、版本控制和溯源追踪来减少这些障碍。
• 为科学家提供一个实用且可操作的框架，以实施可复现的研究实践。
• 通过将笔记本与软件仓库及开源许可集成，推动开放科学。

提出的方法

• 制定一套针对 Jupyter Notebook 用户的十项简单、实用的规则，以确保可复现性。
• 倡导使用版本控制系统（例如 Git）来追踪代码、数据和文档的变更。
• 鼓励通过函数和可重用组件实现代码的模块化组织，以提高清晰度和可维护性。
• 强调在笔记本内部记录假设、数据来源和计算步骤的重要性。
• 建议使用容器化技术（例如 Docker）和环境配置文件（例如 conda）以确保执行环境的一致性。
• 推动将笔记本与 CI/CD 流水线及自动化测试集成，以长期验证可复现性。

实验结果

研究问题

• RQ1 在科学工作流中，阻碍可复现性计算研究的主要技术和非技术障碍是什么？
• RQ2 如何有效利用 Jupyter Notebook 克服这些障碍并提升研究透明度？
• RQ3 研究人员可采用哪些具体实践和工具，以确保其基于笔记本的分析在不同环境中均可复现？
• RQ4 如何有意义地将溯源追踪和版本控制集成到笔记本工作流中？
• RQ5 开放科学原则（如开放数据和许可）在提升基于笔记本的研究可重用性方面发挥什么作用？

主要发现

• 采用结构化笔记本工作流程可显著提升计算研究的可复现性和透明度。
• 版本控制和环境管理（例如通过 conda 或 Docker）对于确保在不同系统上的一致执行至关重要。
• 在笔记本中清晰记录数据来源、假设和分析步骤可增强可解释性和可重用性。
• 将代码模块化为函数和可重用组件可提高可维护性并减少错误。
• 与软件仓库及 CI/CD 流水线的集成可实现对笔记本输出的自动化验证。
• 开放科学实践，包括开放数据和许可，可提升基于笔记本的研究的可重用性和影响力。