[论文解读] WorkflowHub: a registry for computational workflows

Ove Gustafsson, Sean R. Wilkinson+13 more|Research Explorer (The University of Manchester)|Oct 9, 2024

Scientific Computing and Data ManagementDecision Sciences被引用 3

一句话总结

WorkflowHub 是一个全球性的、符合 FAIR 原则的注册表，汇集来自不同存储库的计算工作流，支持通过 DOI 实现工作流的发现、版本控制和持久标识。通过与 Git、RO-Crates 及外部注册表集成，它提升了工作流的可重现性、可重用性以及学术信用，目前已在 12 个国家注册超过 700 个工作流，并制定了持续至 2027 年的数据保留政策，通过 Zenodo 或 Figshare 实现归档。

ABSTRACT

The rising popularity of computational workflows is driven by the need for repetitive and scalable data processing, sharing of processing know-how, and transparent methods. As both combined records of analysis and descriptions of processing steps, workflows should be reproducible, reusable, adaptable, and available. Workflow sharing presents opportunities to reduce unnecessary reinvention, promote reuse, increase access to best practice analyses for non-experts, and increase productivity. In reality, workflows are scattered and difficult to find, in part due to the diversity of available workflow engines and ecosystems, and because workflow sharing is not yet part of research practice. WorkflowHub provides a unified registry for all computational workflows that links to community repositories, and supports both the workflow lifecycle and making workflows findable, accessible, interoperable, and reusable (FAIR). By interoperating with diverse platforms, services, and external registries, WorkflowHub adds value by supporting workflow sharing, explicitly assigning credit, enhancing FAIRness, and promoting workflows as scholarly artefacts. The registry has a global reach, with hundreds of research organisations involved, and more than 700 workflows registered.

研究动机与目标

• 解决计算工作流在不同科学领域和工作流生态系统中分散、难以查找的问题。
• 推动计算工作流作为学术成果的 FAIR 原则（可发现、可访问、可互操作、可重用）。
• 建立一个中心化的注册表，支持工作流的共享、版本控制和长期保存，并提供持久标识符。
• 通过 DOI 注册和元数据管理，实现对工作流创建者的信用归属和学术认可。
• 支持与现有工作流平台、存储库以及 DataCite 和 Zenodo 等 FAIR 数据基础设施的互操作性。

提出的方法

• WorkflowHub 使用基于 Git 的版本控制来存储和管理工作流仓库，支持版本控制、快照和变更追踪。
• 通过直接导入 Git 或提交 RO-Crate 的方式摄入工作流，确保结构化、机器可读的元数据和溯源信息。
• 注册表与外部平台（如 GitHub、GitLab、Bitbucket）以及 FAIR 数据基础设施（如 DataCite 用于 DOI）集成，以增强可发现性和持久性。
• 通过在 Zenodo 上发布注册工作流 RO-Crate 的知识图谱，实现语义互联和高级发现功能。
• 实施正式的生命周期终止政策，通过将工作流以 RO-Crate 形式归档至公共存储库（如 Zenodo、Figshare）并更新 DOI，确保长期保存。
• 系统基于 FAIRDOM-SEEK 平台构建，利用现有的 FAIR 软件工程实践和符合 CRediT 的贡献者追踪机制。

Figure 1: WorkflowHub connects to platforms, services, and resources that support a workflow’s life cycle [ 28 ] . A researcher initially needs to Plan & Find , where they either plan for a particular analysis and find existing workflows (i.e. using a registry), or Develop a new workflow. WorkflowHu

实验结果

研究问题

• RQ1 如何在不同科学社群和工作流生态系统之间有效发现和共享计算工作流？
• RQ2 哪些技术和组织机制能够实现计算工作流的长期保存和 FAIR 合规性？
• RQ3 如何通过持久标识符和元数据管理，对工作流创建者进行信用归属和学术认可？
• RQ4 中心化注册表在多大程度上能够与现有工作流平台和 FAIR 数据基础设施实现互操作？
• RQ5 需要怎样的基础设施和治理模式来维持一个全球性、社区驱动的工作流注册表？

主要发现

• WorkflowHub 已从全球 12 个国家的 120 多家研究机构注册超过 700 个计算工作流，显示出广泛的国际采纳。
• 注册表通过 DataCite 发放的 DOI 支持工作流的持久标识，确保长期可访问性和可引用性。
• 所有注册的工作流均以 RO-Crate 形式归档，并将通过 Zenodo 或 Figshare 等公共存储库在 2027 年后继续保存，DOI 将自动指向归档版本。
• 系统通过 Git 实现工作流的版本化管理，支持快照和在不同工作流引擎环境中的可重现执行。
• 在 Zenodo 上发布的注册工作流 RO-Crate 知识图谱，支持工作流及其元数据的语义发现与互联。
• WorkflowHub 与 FAIRDOM-SEEK 的集成以及对 CRediT 贡献者角色的支持，增强了工作流开发中的学术归属感和透明度。

Figure 2: Workflow types registered with WorkflowHub.