[论文解读] SWARM-SLR AIssistant: A Unified Framework for Scalable Systematic Literature Review Automation

Tim Wittenborg, Allard Oelen+1 more|arXiv (Cornell University)|Mar 5, 2026

Scientific Computing and Data Management被引用 0

一句话总结

介绍 SWARM-SLR AIssistant，这是一个模块化、基于代理的框架，将 SWARM-SLR 与 AI 辅助工作流和集中工具注册表统一起来，以实现可扩展、人工参与的 SLR 自动化。

ABSTRACT

Despite a growing ecosystem of tools supporting Systematic Literature Reviews (SLRs), integrating them into user-friendly workflows remains challenging. The Streamlined Workflow for Automating Machine-Actionable Systematic Literature Reviews (SWARM-SLR) unified the tool annotation and provided a cohesive yet modular workflow, but faced scalability and usability issues. We introduce the SWARM-SLR AIssistant, a unified framework that combines the SWARM-SLR's structured methodology with an agent-based assistant that integrates research tools in a modular interface. The first SWARM-SLR stage is integrated, enabling conversational, LLM-guided support and persistent data storage. To address the tool assessment bottleneck, we propose a centralized tool registry that allows developers to annotate and register tools autonomously using a shared metadata schema. Preliminary evaluation shows improved usability, but challenges remain in balancing efficiency, accessibility, and transparency. Further development is needed to realize scalable SLR automation.

研究动机与目标

• 通过将 SWARM-SLR 集成到带有持久存储的 AI 辅助工作区，提升其易用性和可访问性。
• 提出一个集中式、去中心化友好型的工具注册表，以使用共享元数据架构对工具进行标注和注册。
• 将 SWARM-SLR 的第一阶段集成到 AIssistant，以提供对话式、LLM 指导的引导。
• 通过与真实用户的初步实现评估，识别可用性收益与剩余挑战。

提出的方法

• 开发一个可调用外部可配置工具的模块化 AIssistant 工作区，采用标准化工具描述。
• 在 AIssistant 界面中将前五个 SWARM-SLR 步骤嵌入为独立代理。
• 设计一个集中式工具注册表，将 SWARM-SLR 的需求映射到用于工具标注的元数据。
• 提供一个持久数据层，以在人工与机器之间共享中间和最终的 SLR 结果。
• 采用受 bio.tools 启发的众包、扩展市场风格的方法，促进工具的引导和开发者的自主标注。

Figure 1: Overview of the SWARM-SLR AIssistant. The SWARM-SLR requirements are mapped to tool registry properties, which are used to annotate tools. The resulting tool catalogue can be used from within the AIssistant, providing a uniform interface for human and machine to access tools and data.

实验结果

研究问题

• RQ1 AIssistant 是否能够在保持持久共享数据层的同时，为 SWARM-SLR 的第一阶段提供有效的 LLm 指导支持？
• RQ2 集中式工具注册表是否能提升工具标注与集成在 SWARM-SLR AIssistant 中的易用性和可扩展性？
• RQ3 在将多样化研究工具整合到统一的 AI 辅助 SLR 工作流中，易用性、透明性与资源权衡有哪些？
• RQ4 在真实世界的 SLR 场景中，集成系统的可用性如何，进一步推广还存在哪些挑战？

主要发现

• 与 18 名参与者的初步评估表明，与原始的 Jupyter Notebook 实现相比，AIssistant 的可用性有所提高。
• 参与者对 AIssistant 的可用性和可获取性改进表达了积极情感。
• 用户强调对工具透明性、幻觉问题和资源效率方面的仍存担忧。
• 该整合为人与机器对工具与数据的访问提供了统一界面，使中间和最终结果的共享成为可能。
• 提出一个集中式工具注册表，以简化工具标注并降低贡献工具的门槛。

Figure 2: The conceptual design of the AIssistant tool registry provides a central tool curation point, mapping requirements to metadata schema. Users can browse task-specific tools similar to an extension marketplace.