[论文解读] On the State and Importance of Reproducible Experimental Research in Parallel Computing

Sascha Hunold, Jesper Larsson Träff|arXiv (Cornell University)|Aug 16, 2013

Scientific Computing and Data Management参考文献 24被引用 16

一句话总结

本文认为，尽管可复现性在确保可信、可验证和可重用的科学发现中起着至关重要的作用，但在并行计算研究中却严重被忽视。作者提倡改进实验报告实践，并通过案例研究证明，VisTrails 和虚拟机等工具可以提升可复现性，尽管在该领域内标准化和规模化这些方法方面仍存在重大挑战。

ABSTRACT

Computer science is also an experimental science. This is particularly the case for parallel computing, which is in a total state of flux, and where experiments are necessary to substantiate, complement, and challenge theoretical modeling and analysis. Here, experimental work is as important as are advances in theory, that are indeed often driven by the experimental findings. In parallel computing, scientific contributions presented in research articles are therefore often based on experimental data, with a substantial part devoted to presenting and discussing the experimental findings. As in all of experimental science, experiments must be presented in a way that makes reproduction by other researchers possible, in principle. Despite appearance to the contrary, we contend that reproducibility plays a small role, and is typically not achieved. As can be found, articles often do not have a sufficiently detailed description of their experiments, and do not make available the software used to obtain the claimed results. As a consequence, parallel computational results are most often impossible to reproduce, often questionable, and therefore of little or no scientific value. We believe that the description of how to reproduce findings should play an important part in every serious, experiment-based parallel computing research article. We aim to initiate a discussion of the reproducibility issue in parallel computing, and elaborate on the importance of reproducible research for (1) better and sounder technical/scientific papers, (2) a sounder and more efficient review process and (3) more effective collective work. This paper expresses our current view on the subject and should be read as a position statement for discussion and future work. We do not consider the related (but no less important) issue of the quality of the experimental design.

研究动机与目标

• 突出尽管至关重要，当前并行计算实验研究中的可复现性仍严重不足。
• 论证可复现性对于可信的科学评估、高效的同行评审以及集体科学进步至关重要。
• 通过案例研究展示工作流系统（VisTrails）和虚拟机如何在实践中提升可复现性。
• 发起关于在并行计算研究中建立可复现研究标准和工具的广泛讨论。
• 强调可复现性必须是实验研究的核心组成部分，而非事后补充。

提出的方法

• 作者分析并行计算实验研究的现状，重点关注实验描述不充分以及共享软件缺失的问题。
• 他们借鉴其他依赖计算实验的科学领域在可复现性方面所做的努力。
• 通过使用 VisTrails 管理和记录基于模拟的分布式调度算法实验工作流，开展一项案例研究。
• 为确保可移植性和环境一致性，创建并分发了一个包含所有必需软件和依赖项的虚拟机（VM）。
• 工作流设计为可在 VM 上执行，使他人无需手动配置即可复现结果。
• 作者使用 Git 对外部源代码进行版本控制，因为 VisTrails 不支持跟踪外部代码的变更。

实验结果

研究问题

• RQ1 独立研究人员在多大程度上能够复现当前并行计算研究中的实验结果？
• RQ2 哪些技术和方法论上的挑战阻碍了并行计算实验研究中的可复现性？
• RQ3 像 VisTrails 和虚拟机这样的工具如何提升该领域计算实验的可复现性？
• RQ4 基于虚拟机的分发方法在实际应用中存在哪些局限性？
• RQ5 研究界如何采纳标准化实践，使并行计算中的实验工作更具可信度和可重用性？

主要发现

• 许多并行计算研究论文未能提供实验设置的足够细节，导致结果难以甚至无法复现。
• 缺乏共享软件和不完整的文档显著削弱了实验结果的可信度。
• 使用 VisTrails 改进了工作流的追踪和模块化，但其并未原生支持外部代码变更的捕获，也未支持细粒度并行执行。
• 创建预配置的虚拟机实现了跨不同环境的完全可复现性，但 VM 镜像体积庞大以及可能过时仍是实际挑战。
• 可复现性是一个耗时的过程，即使使用现代工具，仍需要大量努力、投入和协调。
• 本研究证实，可复现性在实践中是可行的，但需要在科研文化和工具标准方面进行系统性变革。