[论文解读] Quality and sustainability of software tools in neuroscience

Marc-Oliver Gewaltig, Robert C. Cannon|arXiv (Cornell University)|May 14, 2012

Scientific Computing and Data Management参考文献 20被引用 3

一句话总结

本文评估了36种神经科学软件工具的质量与可持续性，识别出在成熟度、文档化和可维护性方面存在关键缺陷。文章提出了开发模式与最终产品分类，以指导研究人员、审稿人和开发者通过可操作的检查清单提升软件的可靠性与科研准备度。

ABSTRACT

In computational neuroscience, the continual need for new software tools has led to the creation of software in a disparate and ad-hoc fashion with considerable overlap but little compatibility between different tools. Much of the resulting software is made freely available, but it is not always clear that it is sufficiently mature in terms of domain coverage, validity, documentation or usability, to be useful to other researchers. Software tools for scientific use should meet certain minimal conditions of correctness, usability and reliability. For databases and tools that are made publicly available, additional criteria of maintainability and sustainability should be met. We focused on 36 neuroscience software tools and asked how the culture and practice of software development affects the validity and trustworthiness of scientific software. We identified two sets of categories: one for how software is developed, and one for the end products of such work. The development models include pet projects driven by single individuals or small groups, collaborative projects, and projects that are driven with up-front funding. The end products can be classified as proof of concept work, private tools and public tools according to their accessibility and state of readiness for scientific work. Based on our findings we suggest ways in which the current practice of software development in computational neuroscience can be improved along with checklists for developers, reviewers, and scientists to help assess the quality and research readiness of a particular piece of software.

研究动机与目标

• 探究软件开发实践如何影响计算神经科学中科学软件的有效性与可信度。
• 识别软件成熟度方面常见的不足，包括文档化、可用性和可维护性。
• 根据开发模式（个人项目、协作项目、资助项目）和最终产品类型（概念验证、私有工具、公开工具）对软件工具进行分类，以实现更有效的评估。
• 为开发者、审稿人和科学家提供实用的检查清单，以评估软件质量和科研准备度。
• 通过结构化的开发与评估实践，提升神经科学软件的可持续性与可靠性。

提出的方法

• 分析了36种不同开发模式和最终产品类别的神经科学软件工具。
• 根据可访问性与准备度对工具进行分类：概念验证、私有工具和公开工具。
• 使用正确性、可用性、可靠性和可维护性等标准对软件进行评估。
• 识别出在文档化、领域覆盖范围和跨工具兼容性方面存在的重复性问题。
• 为开发者、审稿人和科学家量身定制了检查清单，以评估软件质量。
• 建议改进软件开发文化，以增强长期可持续性与科学可信度。

实验结果

研究问题

• RQ1 不同的软件开发模式（如个人项目、资助项目）如何影响神经科学软件的质量与可持续性？
• RQ2 公开可用的神经科学软件工具在多大程度上满足正确性、可用性和可靠性的最低标准？
• RQ3 现有神经科学软件工具在文档化、兼容性和可维护性方面存在哪些关键缺陷？
• RQ4 如何通过成熟度与可访问性对软件进行更优分类，以提升科研准备度？
• RQ5 开发者、审稿人和科学家可以使用哪些实用检查清单来评估软件质量与可持续性？

主要发现

• 许多神经科学软件工具以非正式方式开发，缺乏兼容性与依赖管理，导致重复与低效。
• 大量公开可用的工具缺乏足够的文档、可用性支持或成熟度，无法可靠用于科学研究。
• 如个人项目等开发模式常导致工具难以长期维持或持续维护。
• 尽管公开工具可免费获取，但其在长期可维护性与可靠性方面常未能达到标准。
• 为开发者、审稿人和科学家提出的检查清单提供了一个结构化框架，用于评估软件质量与科研准备度。
• 改进软件开发实践与标准化评估标准可显著提升神经科学软件的可信度与可持续性。