[论文解读] The Changing Nature of Computational Science Software

Huy Tu, Rishabh Agrawal+1 more|arXiv (Cornell University)|Mar 12, 2020

Software Engineering Research参考文献 45被引用 5

一句话总结

本文通过分析59个GitHub项目，对计算科学（CS）软件领域13个长期存在的信念进行了定量研究。研究发现，大多数先前的假设——尤其是关于需求、测试和文化障碍的假设——已过时，揭示出计算科学开发如今比以往认为的更符合现代软件工程实践，这对设计针对计算科学工作流的新工具具有启示意义。

ABSTRACT

How should software engineering be adapted for Computational Science (CS)? If we understood that, then we could better support software sustainability, verifiability, reproducibility, comprehension, and usability for CS community. For example, improving the maintainability of the CS code could lead to: (a) faster adaptation of scientific project simulations to new and efficient hardware (multi-core and heterogeneous systems); (b) better support for larger teams to co-ordinate (through integration with interdisciplinary teams); and (c) an extended capability to model complex phenomena. In order to better understand computational science, this paper uses quantitative evidence (from 59 CS projects in Github) to check 13 published beliefs about CS. These beliefs reflect on (a) the nature of scientific challenges; (b) the implications of limitations of computer hardware; and (c) the cultural environment of scientific software development. What we found was, using this new data from Github, only a minority of those older beliefs can be endorsed. More than half of the pre-existing beliefs are dubious, which leads us to conclude that the nature of CS software development is changing. Further, going forward, this has implications for (1) what kinds of tools we would propose to better support computational science and (2) research directions for both communities.

研究动机与目标

• 利用开源代码仓库的实证数据，重新评估计算科学（CS）软件开发领域长期存在的信念。
• 识别出13项关于CS软件的既有信念中，哪些在当今的开发环境中仍然有效。
• 为设计更契合计算科学社区不断演变需求的新型软件工程工具与实践提供建议。
• 探讨现代软件工程方法在CS项目中的采纳情况，特别是在需求、测试和运维方面的应用。
• 挑战科学软件本质上比通用软件更难维护或更不适用于正式软件工程实践的假设。

提出的方法

• 从59个托管在GitHub上的开源计算科学项目中收集并分析数据。
• 使用定量挖掘技术评估项目特征，如版本控制实践、问题跟踪和贡献模式。
• 通过交叉比对GitHub数据（包括代码质量指标、测试实践和开发者参与度）来评估每一项既有信念。
• 应用增量式数据挖掘，识别CS与SE社区在术语和工作流上的差异。
• 基于数据集中的实证证据，将每一项信念分类为支持、存疑或不支持。
• 对代码库进行定性分析，评估科学测试、需求和运维支持机制的存在性与质量。

实验结果

研究问题

• RQ1 在现代开源项目中，13项关于计算科学软件的既有信念在多大程度上仍然有效？
• RQ2 在测试、版本控制和需求处理等软件工程实践方面，当前的计算科学项目与通用软件工程项目的实践相比有何异同？
• RQ3 有哪些证据表明CS开发者正在采纳现代软件工程方法？他们在哪些领域最为活跃？
• RQ4 当前的CS项目在多大程度上表现出或缺乏对科学测试的支持——即针对物理规律或领域特定约束的验证？
• RQ5 在实际开发实践中，软件工程在CS中面临的文化与技术障碍（如术语差异或缺乏正式培训）如何体现？

主要发现

• 在GitHub数据的实证证据中，仅有少数几项（13项中的少数）支持既有的关于计算科学软件的信念。
• 关于需求不明确和缺乏软件工程正式培训的信念，大多缺乏实证支持，因为CS开发者表现出对现代SE实践的强烈意识与应用。
• 超过一半的既有信念——尤其是涉及文化与技术障碍的信念——被当前数据视为可疑或缺乏支持。
• CS项目展现出高水平的代码可理解性与可维护性，缺陷引入率低于典型SE项目，表明SE可能从CS中汲取经验。
• 科学测试——即针对物理规律或领域约束的验证——作为一种独特且尚未充分发展的测试层次，与单元测试和系统测试有明显区别。
• CS的开发与运维工作流尚未得到充分研究，但代表了未来工具化的重要高影响力领域，特别是在胶水代码和跨团队故障排查方面。