[论文解读] "Share and Enjoy": Publishing Useful and Usable Scientific Models

Tom Crick, Benjamin A. Hall+2 more|arXiv (Cornell University)|Sep 1, 2014

Scientific Computing and Data Management参考文献 11被引用 4

一句话总结

本文提出了一种集成的基于云的基础设施，用于自动化共享、测试和验证科学模型与算法，利用持续集成（CI）系统确保可复现性。通过将基准测试视为版本控制的工件，并在代码提交时触发自动化执行，该系统实现了实时、权威的性能比较，降低了开销，并加速了计算科学中的科学发现。

ABSTRACT

The reproduction and replication of reported scientific results is a hot topic within the academic community. The retraction of numerous studies from a wide range of disciplines, from climate science to bioscience, has drawn the focus of many commentators, but there exists a wider socio-cultural problem that pervades the scientific community. Sharing code, data and models often requires extra effort; this is currently seen as a significant overhead that may not be worth the time investment. Automated systems, which allow easy reproduction of results, offer the potential to incentivise a culture change and drive the adoption of new techniques to improve the efficiency of scientific exploration. In this paper, we discuss the value of improved access and sharing of the two key types of results arising from work done in the computational sciences: models and algorithms. We propose the development of an integrated cloud-based system underpinning computational science, linking together software and data repositories, toolchains, workflows and outputs, providing a seamless automated infrastructure for the verification and validation of scientific models and in particular, performance benchmarks.

研究动机与目标

• 为解决计算科学中广泛存在的可复现性危机，通过改善科学模型与算法的访问与共享。
• 降低阻碍科学研究所用代码、数据与模型重用的文化与技术障碍。
• 通过集成的基于云的持续集成（CI）系统，自动化验证科学模型与算法。
• 构建一个可持续、可扩展的基础设施，使模型与算法与其可验证、公开可访问的结果共同演化。
• 将科学模型与基准测试重新定位为研究的一等输出，直接与出版物和实现代码关联。

提出的方法

• 利用云平台（如AWS、Google Cloud、Azure）按需托管和执行科学工作负载。
• 使用版本控制仓库（如Git）将模型、算法和基准测试套件作为一等研究工件进行管理。
• 集成持续集成（CI）系统（如Jenkins、Visual Studio Online），在代码或模型更新时自动触发执行。
• 定义标准化的性能指标，超越单纯的运行时间，包括算法操作计数和结构属性（如终止性、稳定性）。
• 将所有算法在所有基准测试上的运行结果作为权威、带时间戳的输出发布，类似于内核归档。
• 支持新算法在共享、持续演化的基准测试集上进行自动化测试与验证，从一开始就确保可复现性。

实验结果

研究问题

• RQ1 如何以降低可复现性感知开销的方式共享和验证科学模型与算法？
• RQ2 需要何种基础设施才能实现科学模型与算法的自动化、持续验证？
• RQ3 如何在不同计算科学领域中标准化并赋予性能指标实际意义？
• RQ4 基于云的持续集成在提升科学软件的可靠性与可重用性方面发挥何种作用？
• RQ5 如何激励科学界采纳一种模型，即基准测试与算法在共享、自动化的系统中共同开发与版本化？

主要发现

• 集成的基于云的持续集成系统可自动化执行和验证科学算法在共享基准测试上的表现，显著减少人工工作量与错误。
• 当优先考虑操作计数和结构属性（如终止性、稳定性）等性能指标而非单纯运行时间时，基准测试结果更具可靠性与可比性。
• 该系统可实现实时、权威的算法结果发布，为科学比较提供可信、版本化的事实来源。
• 通过自动化CI流水线将论文、模型与实现代码关联，该系统增强了外部验证，并支持科学产出的重用。
• 所提出的基础设施降低了可复现性的感知开销，使其定位为提升生产力的工具而非负担。
• 该模型表明，当模型与算法在共享、自动化的环境中开发与验证时，数据密集型科学发现的‘第四范式’是可行的。