[论文解读] RareAgents: Autonomous Multi-disciplinary Team for Rare Disease Diagnosis and Treatment

Xuanzhong Chen, Ye Jin+4 more|arXiv (Cornell University)|Dec 17, 2024

Genomics and Rare DiseasesBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

RareAgents 是一种新颖的、以患者为中心的多学科 LLM 基础智能体框架，专为罕见病的诊断与治疗而设计，整合了动态记忆、工具使用以及专业化医生智能体之间的协作规划。该框架在使用 Llama-3.1-8B/70B 时，于鉴别诊断和药物推荐方面优于 GPT-4o 和其他 SOTA 模型，并引入了 MIMIC-IV-Ext-Rare 数据集，以推动罕见病研究的发展。

ABSTRACT

Rare diseases, despite their low individual incidence, collectively impact around 300 million people worldwide due to the vast number of diseases. The involvement of multiple organs and systems, and the shortage of specialized doctors with relevant experience, make diagnosing and treating rare diseases more challenging than common diseases. Recently, agents powered by large language models (LLMs) have demonstrated notable applications across various domains. In the medical field, some agent methods have outperformed direct prompts in question-answering tasks from medical examinations. However, current agent frameworks are not well-adapted to real-world clinical scenarios, especially those involving the complex demands of rare diseases. To bridge this gap, we introduce RareAgents, the first LLM-driven multi-disciplinary team decision-support tool designed specifically for the complex clinical context of rare diseases. RareAgents integrates advanced Multidisciplinary Team (MDT) coordination, memory mechanisms, and medical tools utilization, leveraging Llama-3.1-8B/70B as the base model. Experimental results show that RareAgents outperforms state-of-the-art domain-specific models, GPT-4o, and current agent frameworks in diagnosis and treatment for rare diseases. Furthermore, we contribute a novel rare disease dataset, MIMIC-IV-Ext-Rare, to facilitate further research in this field.

研究动机与目标

• 为解决由于症状复杂性和专科医生短缺导致的罕见病诊断延迟和治疗挑战。
• 开发一个自主的、多学科的 LLM 智能体团队，模拟真实世界中罕见病患者的临床工作流程。
• 通过在以患者为中心的框架中整合规划、记忆和医疗工具使用，提升诊断准确性和药物推荐能力。
• 构建一种即插即用、可扩展的架构，适用于多种医疗决策场景，而不仅限于罕见病。
• 贡献一个新创建的、具有临床依据的数据集 MIMIC-IV-Ext-Rare，以支持未来在罕见病 LLM 应用方面的研究。

提出的方法

• 系统使用患者智能体来表示患者的临床特征和请求，并与主治医生智能体启动通信。
• 主治医生智能体从预定义的智能体池中动态组建一个多学科团队（MDT），包括具有特定领域角色的专科医生智能体。
• 每位医生智能体均采用动态长期记忆，以在交互过程中保留并检索相关临床背景信息。
• 该框架通过与医疗数据库（如 DrugBank）和交互检查器（如 DDI-graph）的集成，实现工具使用，用于药物安全验证。
• 多学科团队通过迭代规划与推理进行协作，由主治医生智能体整合生成最终建议。
• 系统基于 Llama-3.1-8B/70B 作为基础 LLM，支持在复杂临床场景中实现零样本推理和智能体自主性。

Figure 1: The four steps of the RareAgents framework. In Step 2, the Attending Physician Agent applies a) Planning to form an MDT and reach a consensus through iterative discussions; b) Dynamic long-term memory to retrieve and update similar cases or prior records; and c) Tools to assist in diagnosi

实验结果

研究问题

• RQ1 一个自主的、多学科的 LLM 智能体团队是否能在罕见病诊断中超越现有智能体框架和 SOTA 模型？
• RQ2 记忆、规划与医疗工具使用的整合在罕见病场景中如何提升诊断与治疗的准确性？
• RQ3 以患者为中心的、即插即用的智能体框架在面对具有复杂多器官表现的多种罕见病病例时，其泛化能力如何？
• RQ4 所提出的框架如何通过自动化推理与交互检查，缩短诊断旅程时长并提升药物安全性？
• RQ5 新整理的数据集 MIMIC-IV-Ext-Rare 是否能有效支持并推进罕见病 LLM 应用的研究？

主要发现

• RareAgents 在罕见病的鉴别诊断方面显著优于现有的 SOTA 领域特定模型和 GPT-4o，展现出更优的推理能力与准确性。
• 该框架在药物推荐准确性方面优于现有基于智能体和 SOTA 模型的方法，尤其在复杂多药治疗方案中表现突出。
• 动态记忆与工具使用（如 DrugBank、DDI-graph）的整合，带来了更安全、更个性化的治疗方案，显著降低了潜在药物相互作用的风险。
• 消融实验证实，规划、记忆与工具使用每个组件均对整体性能有显著贡献，其中记忆组件的影响最为显著。
• 新引入的 MIMIC-IV-Ext-Rare 数据集在 MIMIC-IV 的基础上扩展了罕见病病例，为未来在该资源匮乏领域的基准测试与模型开发提供了支持。
• 在案例研究中，RareAgents 在一个复杂的肿瘤学病例中正确推荐了 21 种药物中的 16 种，仅有 4 种未在真实答案中出现，表明其具有强大的临床相关性与安全性。

Figure 2: Illustrative examples of our proposed RareAgents framework for diagnosing and treating rare diseases are presented. The left panel features a patient from RareBench-Public requiring differential diagnosis based on symptoms, while the right panel shows a case from MIMIC-IV-Ext-Rare involvin