[论文解读] Software development practices in academia: a case study comparison

Derek Groen, Xiaohu Guo+3 more|arXiv (Cornell University)|Jun 17, 2015

Scientific Computing and Data Management参考文献 25被引用 5

一句话总结

本研究分析了九年间四个开源科学软件项目中的软件开发实践，将团队演化与工程实践关联到科学出版物产出。研究发现，开发投入在约三年后产生可衡量的科学回报，测试驱动开发和代码审查等实践在团队成长过程中被采纳，并在短暂的学术团队背景下仍能维持长期影响。

ABSTRACT

Academic software development practices often differ from those of commercial development settings, yet only limited research has been conducted on assessing software development practises in academia. Here we present a case study of software development practices in four open-source scientific codes over a period of nine years, characterizing the evolution of their respective development teams, their scientific productivity, and the adoption (or discontinuation) of specific software engineering practises as the team size changes. We show that the transient nature of the development team results in the adoption of different development strategies. We relate measures of publication output to accumulated numbers of developers and find that for the projects considered the time-scale for returns on expended development effort is approximately three years. We discuss the implications of our findings for evaluating the performance of research software development, and in general any computationally oriented scientific project.

研究动机与目标

• 调查软件开发实践在学术环境中随时间的演变。
• 评估开源科学软件中开发投入、团队规模与科学出版物产出之间的关系。
• 评估软件工程实践（如测试驱动开发和代码审查）在学术软件项目中的有效性。
• 理解软件开发投入与科研软件科学影响之间的时间滞后。
• 为评估和资助学术软件项目提供基于证据的建议。

提出的方法

• 对四个开源科学软件项目（Chaste、HemeLB、Fluidity 和 ESPResSo）开展纵向案例研究。
• 收集并分析九年期间的版本控制数据、出版记录和团队构成。
• 追踪软件工程实践（如测试驱动开发、代码审查和持续集成）在整个项目生命周期中的采纳情况。
• 通过统计分析将出版物产出与开发投入相关联，测量时间滞后的影响。
• 使用团队规模变化作为开发策略转变和实践采纳的代理指标。
• 通过分析作者身份模式和出版速率，评估软件贡献的科学影响。

实验结果

研究问题

• RQ1 随着团队规模和构成的变化，学术软件项目中的软件开发实践如何演变？
• RQ2 软件开发投入与可衡量的科学出版物产出之间的时间滞后是多久？
• RQ3 测试驱动开发和代码审查等软件工程实践在多大程度上与科学生产力提升相关？
• RQ4 短暂的学术团队在多大程度上影响软件工程实践的可持续性和采纳？
• RQ5 这些发现对评估和资助研究软件项目有何启示？

主要发现

• 学术软件项目中开发投入的回报周期约为三年，出版物产出在该滞后期后达到峰值。
• 当团队规模扩大时，更可能采纳测试驱动开发和代码审查等开发实践，且一旦采纳，很少被放弃。
• 科学出版物产出与开发投入强相关，但当将产出与四至五年前投入的开发努力进行比较时，相关性显著减弱。
• 许多关键开发者并未作为主要作者出现在其软件生成的出版物中，表明其影响是间接的，通常通过下游用户实现。
• 本研究建议，最终项目评审至少应延迟三年，以准确评估科学影响，特别是针对短期资助项目。
• 评审委员会应将初步产出（如文档化功能、模拟数据集和预印本）与同行评审出版物一并考虑，以更全面地评估软件影响。