[论文解读] Software publications with rich metadata: state of the art, automated workflows and HERMES concept

Stephan Druskat, Oliver Bertuch+3 more|arXiv (Cornell University)|Jan 22, 2022

Scientific Computing and Data Management被引用 13

一句话总结

本文提出了 HERMES，一种通过利用 CI/CD 流水线自动收集、验证并将其元数据存入 Zenodo 和哈佛大学 Dataverse 等出版存储库的自动化工作流，用于发布带有丰富、符合 FAIR 标准元数据的研究软件。该解决方案整合了元数据提取、冲突解决和标准化存档，显著减少了人工工作量，并推动了软件引用和可持续性发展。

ABSTRACT

To satisfy the principles of FAIR software, software sustainability and software citation, research software must be formally published. Publication repositories make this possible and provide published software versions with unique and persistent identifiers. However, software publication is still a tedious, mostly manual process. To streamline software publication, HERMES, a project funded by the Helmholtz Metadata Collaboration, develops automated workflows to publish research software with rich metadata. The tooling developed by the project utilizes continuous integration solutions to retrieve, collate, and process existing metadata in source repositories, and publish them on publication repositories, including checks against existing metadata requirements. To accompany the tooling and enable researchers to easily reuse it, the project also provides comprehensive documentation and templates for widely used CI solutions. In this paper, we outline the concept for these workflows, and describe how our solution advance the state of the art in research software publication.

研究动机与目标

• 解决缺乏针对研究软件发布且具备丰富元数据的流畅、自动化工作流的问题。
• 通过标准化元数据发布，实现 FAIR 软件原则——可查找、可访问、可互操作和可重用。
• 减少研究人员和软件维护者在软件引用和元数据整理方面的手动工作量。
• 通过与资助方和机构政策保持一致，支持可持续的软件出版，推动将软件视为第一等科研产出。
• 提供可重用的工具、模板和文档，以促进在多样化研究软件开发环境中的采用。

提出的方法

• 利用 CI/CD 平台（如 GitHub Actions、GitLab CI）触发自动化元数据收集工作流。
• 从静态源（如 README、CITATION.cff、CodeMeta、包清单）和版本控制系统中提取元数据。
• 应用元数据验证和冲突解决机制，将异构的元数据源整合为一致且标准化的集合。
• 在存档前，检查最终的元数据集合是否符合目标存储库的要求（如 Zenodo、InvenioRDM、Dataverse）。
• 自动将软件制品和元数据存入出版存储库，并返回持久标识符（PIDs）。
• 通过工作流描述语言（如 CWL、Nextflow）支持可扩展性，以组合诸如收集器、转换器和存档工具等组件。

实验结果

研究问题

• RQ1 如何通过自动化工作流在多样化的源代码仓库中实现研究软件的丰富元数据发布？
• RQ2 在软件出版中，哪些元数据格式和标准最有效地确保 FAIR 合规性？
• RQ3 如何改进元数据验证以避免常见陷阱，例如将 VCS 贡献者列表误用作作者元数据？
• RQ4 哪些额外输出（如 CodeMeta、Citation File Format）可增强已发布软件的实用性和可重用性？
• RQ5 工作流组合语言（如 CWL、Nextflow）在多大程度上可提升自动化软件出版流水线的模块化和可维护性？

主要发现

• HERMES 支持通过 CI/CD 驱动的自动化方式发布研究软件及其丰富元数据，显著减轻了人工整理的负担。
• 该项目的工具支持从多种来源（包括 CITATION.cff、CodeMeta 和包清单）自动收集元数据。
• 元数据验证与冲突解决对于确保一致性与可信度至关重要，尤其是在调和 VCS 贡献者数据与正式作者信息时。
• 该解决方案可通过 InvenioRDM 和 Dataverse API 支持将软件存入 Zenodo 和哈佛大学 Dataverse 等主要出版存储库。
• 积极征求社区反馈，以优化元数据映射、工作流模板以及 CodeMeta 和 Citation File Format 等输出格式。
• 使用工作流描述语言（如 CWL、Nextflow）可实现模块化、可组合且可扩展的自动化流水线，用于元数据处理与存档。