[论文解读] PLOS/Mozilla Scientific Code Review Pilot: Summary of Findings

Marian Petre, Greg Wilson|arXiv (Cornell University)|Nov 11, 2013

Genetics, Bioinformatics, and Biomedical Research参考文献 4被引用 3

一句话总结

本文评估了一项试点项目，即专业软件开发人员审查《PLOS 计算生物学》期刊中发表的科学代码。尽管面临领域知识有限和无法直接与作者沟通等挑战，科学家和开发人员均认为该过程具有价值，且强烈支持重复开展该倡议，凸显了代码审查作为提升计算研究可重现性工具的潜力。

ABSTRACT

PLOS and Mozilla conducted a month-long pilot study in which professional developers performed code reviews on software associated with papers published in PLOS Computational Biology. While the developers felt the reviews were limited by (a) lack of familiarity with the domain and (b) lack of two-way contact with authors, the scientists appreciated the reviews, and both sides were enthusiastic about repeating the experiment.

研究动机与目标

• 评估专业代码审查在计算生物学科研软件中的可行性与价值。
• 评估代码审查对学术研究中软件质量和可重现性的影响。
• 从开发人员和科学家的双重视角，理解其中的挑战与收益。
• 探索将代码审查整合进学术出版工作流程的潜力。
• 确定该模式是否可在学术出版中实现规模化或制度化。

提出的方法

• 开展为期一个月的试点研究，邀请专业软件开发人员审查《PLOS 计算生物学》期刊中已发表论文的代码。
• 所选代码库由作者提交，由无先验领域专业知识的资深开发人员进行审查。
• 采用标准软件工程实践进行审查，重点关注正确性、清晰性和可维护性。
• 通过审查后调查和访谈，收集开发人员和作者的反馈。
• 分析反馈以识别常见挑战、感知收益及改进建议。
• 采用定性与主题分析方法，解读回应并评估审查流程的整体影响。

实验结果

研究问题

• RQ1 专业代码审查在提升科研软件质量方面的有效性如何？
• RQ2 当缺乏领域专业知识时，开发人员在审查科研代码时面临的主要挑战是什么？
• RQ3 科学家如何看待外部代码审查对其研究软件的价值？
• RQ4 开发人员与作者之间的沟通在代码审查有效性中起到什么作用？
• RQ5 能否可持续地将代码审查流程整合进学术出版工作流程？

主要发现

• 开发人员报告称，缺乏领域熟悉度显著限制了其审查的深度与准确性。
• 与作者之间缺乏双向沟通，阻碍了其解决代码或其上下文中的模糊性问题。
• 科学家认可反馈内容，并认为审查对提升代码质量和可重现性有帮助。
• 开发人员与科学家均强烈表达出希望重复参与该试点项目，表明其认可该过程的价值。
• 试点表明，即使领域知识有限，外部代码审查也能提升科研软件质量。
• 结果表明，结构化代码审查可能成为学术出版中科研软件验证的宝贵组成部分。