[论文解读] Reproducible Research is more than Publishing Research Artefacts: A Systematic Analysis of Jupyter Notebooks from Research Articles

Max Schröder, Frank Krüger+1 more|arXiv (Cornell University)|Apr 8, 2019

Scientific Computing and Data Management被引用 5

一句话总结

本研究评估了与研究论文一同发布的 Jupyter 笔记本的可重现性，发现尽管其具有提高透明度的潜力，但由于缺少或不完整的环境文档、版本化依赖项以及不可用的数据，大多数笔记本无法确保完全可重现。在22个笔记本中仅有3个能完全重新执行并获得相同输出，凸显了在发表之外的研究成果共享方面存在关键缺陷。

ABSTRACT

With the advent of Open Science, researchers have started to publish their research artefacts (i. e., data, software, and other products of the investigations) in order to allow others to reproduce their investigations. While this publication is beneficial for science in general, it often lacks a comprehensive documentation and completeness with respect to the artefacts. This, in turn, prevents the successful reproduction of the analyses. Typical examples are missing scripts, incomplete datasets or specification of used software. Moreover, issues about licences often create legal concerns. This is true for the use of commercial software but also for the publication of research artefacts without proper sharing licence. As a result, the sole publication of research artefacts does not automatically result in reproducible research. To empirically confirm this, we have been systematically analysing research publications that also published their investigations as Jupyter notebooks. In this paper, we present preliminary results of this analysis for five publications. The results show, that the quality of the published research artefacts must be improved in order to assure reproducibility.

研究动机与目标

• 评估与研究论文一同发布的 Jupyter 笔记本的可重现性。
• 识别阻碍可重现性的文档缺失、环境规格不全以及成果物不可用等问题。
• 评估已发布的笔记本是否能够成功重建并以完全相同的输出重新执行。

提出的方法

• 在 PubMed Central (PMC) 中搜索2018年发表的、将 Jupyter 笔记本（.ipynb 文件）作为研究成果的论文。
• 在排除缺少或无关笔记本的论文后，筛选出36篇相关出版物。
• 针对五篇随机选取的出版物，基于笔记本文档使用 Docker 和 conda 重建计算环境。
• 在重建的环境中执行所有笔记本单元格，并通过 nbdime 将输出与原始结果进行对比。
• 根据六个标准评估可重现性：笔记本数量、文档位置、依赖项文档、环境可用性、数据可用性以及输出可重现性。

实验结果

研究问题

• RQ1 在研究论文中提及的 Jupyter 笔记本数量与实际发布的数量相比如何？
• RQ2 源代码成果物及其文档托管在何处，是否指定了版本控制？
• RQ3 能否仅凭已发布的文档重建运行笔记本所需的软件环境？
• RQ4 研究的完整原始数据是否可供重新执行使用？
• RQ5 笔记本在多大程度上可以被完全重新执行以重现原始输出？

主要发现

• 在五篇出版物的22个 Jupyter 笔记本中，仅有3个在重新执行后能完全重现相同输出，实现完全可重现。
• 在22个笔记本中，有9个成功重建了计算环境，主要原因是依赖项规格不完整或缺失。
• 大多数代码仓库缺乏对源代码的版本化链接，其中67%的源代码成果物未提供许可证，限制了其再利用。
• 仅有一个项目使用容器化（Docker）以确保环境一致性，其余项目均需手动重建环境。
• 三个笔记本因缺少数据而失败，其他笔记本则因常量未赋值或导入缺失而失败，尽管环境已成功重建。
• 软件依赖项的文档通常未包含在笔记本中，且分散在仓库各处；仅有两个项目使用了专门的文档工具（如 Read the Docs 或 mkdocs）。