[论文解读] ReproServer: Making Reproducibility Easier and Less Intensive

Rémi Rampin, Fernando Chirigati+2 more|arXiv (Cornell University)|Aug 4, 2018

Scientific Computing and Data Management参考文献 3被引用 4

一句话总结

ReproServer 是一个基于网络的平台，可通过 ReproZip 打包文件（.rpz 文件）实现计算实验的一键重现，自动构建并执行隔离的 Docker 环境。它消除了依赖管理与本地设置的需要，使研究人员和审稿人无需安装任何软件，即可在浏览器中直接运行、检查和扩展实验。

ABSTRACT

Reproducibility in the computational sciences has been stymied because of the complex and rapidly changing computational environments in which modern research takes place. While many will espouse reproducibility as a value, the challenge of making it happen (both for themselves and testing the reproducibility of others' work) often outweigh the benefits. There have been a few reproducibility solutions designed and implemented by the community. In particular, the authors are contributors to ReproZip, a tool to enable computational reproducibility by tracing and bundling together research in the environment in which it takes place (e.g. one's computer or server). In this white paper, we introduce a tool for unpacking ReproZip bundles in the cloud, ReproServer. ReproServer takes an uploaded ReproZip bundle (.rpz file) or a link to a ReproZip bundle, and users can then unpack them in the cloud via their browser, allowing them to reproduce colleagues' work without having to install anything locally. This will help lower the barrier to reproducing others' work, which will aid reviewers in verifying the claims made in papers and reusing previously published research.

研究动机与目标

• 为解决计算研究中长期存在的可重现性挑战，降低共享和重用实验的技术与操作负担。
• 消除研究人员在共享或同行评审过程中手动管理软件依赖、环境配置和安装流程的需求。
• 通过使用 ReproZip 压缩包，在无需本地软件安装的情况下，实现实验在网页浏览器中的无缝、交互式重现。
• 通过支持 Open Science Framework 和 figshare 等数据存储库，与现有研究工作流集成，为可重现实验提供持久、可引用的链接。
• 通过允许审稿人仅通过一个 URL 即可即时访问并执行实验，提升同行评审的透明度和对已发表结果的信任度。

提出的方法

• 用户通过 ReproServer 网页界面上传一个 ReproZip 打包文件（.rpz 文件），或提供托管在代码仓库中的 .rpz 文件链接。
• ReproServer 后端从 .rpz 打包文件中提取元数据（输入/输出文件、命令行、环境规格），并基于捕获的依赖关系构建 Docker 镜像。
• Docker 镜像被缓存在私有注册表中，以加速后续重现，并及早检测损坏的打包文件。
• 在用户请求时，ReproServer 使用指定的输入文件和参数，在隔离的 Docker 环境中运行实验，通过设置时间和内存限制防止滥用。
• 执行日志实时显示，实验完成后输出文件存储在兼容 Amazon S3 的存储服务中，供下载。
• 每次重现均生成一个永久的、可共享的 URL，支持在论文中引用、嵌入，或用于修改输入后的重复使用。

实验结果

研究问题

• RQ1 基于网络的系统是否能显著降低在不同环境中重现计算实验所需的努力？
• RQ2 ReproServer 在无需本地软件安装的情况下，能否有效自动化从 ReproZip 打包文件中设置和执行实验？
• RQ3 ReproServer 在同行评审过程中，通过提供实验的即时、交互式访问，能在多大程度上提升研究的可重现性？
• RQ4 ReproServer 是否能通过容器编排（如 Kubernetes）和云基础设施在生产环境中高效部署和扩展？
• RQ5 与现有数据存储库（如 Open Science Framework）集成，能否增强可重现研究成果的可发现性和持久性？

主要发现

• ReproServer 通过网页浏览器实现实验的一键重现，无需本地软件安装、依赖管理或环境配置。
• 该系统成功在不同操作系统上解压并执行 ReproZip 打包文件中的实验，通过 Docker 容器实现可移植性和隔离性。
• ReproServer 为每次重现生成持久、可共享的 URL，可嵌入论文或用于协作验证与扩展。
• 通过缓存 Docker 镜像，ReproServer 提升了性能，并能早期检测损坏的打包文件，降低重现失败率。
• 与 Open Science Framework 等存储库的集成，确保了可重现实验的长期持久性和可引用性，无需依赖 ReproServer 自身的存储。
• 该系统支持在重现过程中交互式修改输入文件和参数，支持在不同条件下进行敏感性分析和验证。